定义

什么是逻辑回归？逻辑回归是一个分类模型，不是回归模型哈。那么她和线性回归是什么关系，额不是男女关系哈。那她和线性回归的关系是什么，额其实就是线性回归套了个马甲哈哈。为了了解什么是逻辑回归，咱们先看下什么是线性回归。其实你在初中一年级已经使用了线性回归，一元方程：0=ax+b。二元方程y=ax+b，我们也称因变量和自变量程线性关系。当然，我们在实际应用中，遇到的线性回归问题，不止一个变量，

比如房价预测，它会跟房屋面积，房屋地段（学区房哈）等因素相关，至于是真的线性关系，只是我们的假设而已。当然你也可以用非线性曲线来拟合，只不过不再是线性回归模型。线性回归就是用线性关系组合特征来模拟目标值。言归正传，逻辑回归模型的马甲就是sigmod函数，

这个函数的取值范围在0-1之间，如下图所示（来源网络），以0.5为界限，进行二分类。那为什么要套上这个马甲，为啥不能直接线性回归找一个中间值？好问题，我只能解释性回答，至于数学上应该会有推导吧，我的解释是，你看这可恨的自律性，你看着完美的曲线，还有那0.5的标定界限，多么中庸之道啊。所以，就这个马甲吧。

至此，逻辑回归模型的数学表达式：

损失函数

光知道逻辑回归模型的数学表达式，没有什么用。我们可以用这个表达式来搞点事情，w为模型参数，也是我们的训练目标，寻找最好的w，来使得预测分类最准确。那么如何获取这个最优的w呢。我们有现成的数据，data和label，尽量让逻辑回归模型预测的结果和标准结果一致。那就是定义损失函数，能使损失函数最小的参数就是最优的参数。线性回归使用均方误差来作为损失函数，但却不适用于逻辑回归模型。上面我们提到，逻辑回归模型取值范围是0-1，那么预测分类可以看成概率事件。假设用1，0表示两个分类，预测p(y=1|x)=p，那么y=0的概率为1-p。设yi取0或1，另外一种写法：

上面的式子为某一个样本的预测概率，所有样本概率相乘，也就是最大似然估计。那么就可以利用最大似然函数作为逻辑回归的损失函数。

对于这种连成格式，第一直觉是不是要取对数哈，

同时"损失函数"应该越小越好吧，加个负号就等价于原来的最大似然函数：

既然已经设计好损失函数，我们就得解决这个最值问题。

梯度下降法

梯度下降法中梯度就是该点的导数，沿着梯度下降方向，进行迭代参数，获取极小值后停止迭代，这时参数基本上是最优的。对于逻辑回归损失函数的求导过程也很简单。对于求导，无非是复合函数求导，多元变量求导，应该都挺简单。。。直接放公式：

其中梯度下降法分为梯度下降和随机梯度下降，mini_batchs梯度下降，主要区别就是如何选取样本，来进行参数迭代，各有优缺点。

最后

感谢百度paddle飞桨培训课程。快来一起学习吧：https://aistudio.baidu.com/aistudio/course/introduce/1978