日志

逻辑回归(Logistics Regression)

逻辑回归是一种有监督的分类模型(离散型输出),它将线性函数的线性输出通过 Sigmoid 变换映射到 0~1 的范围,表示对应特征与对应输出的一种概率关系。逻辑回归本质上是一种广义线性模型,Sigmoid 只是非线性激活函数。
Pasted

二分类

例子:根据医学指标特征来判断一个人是否患有癌症。
备注:输入数据服从高斯分布,输出数据服从伯努利分布(0-1分布)。

逻辑回归假设式(hypothesis)

Pasted

其中z 是线性输出层,即 z = wX+b
Sigmoid 函数的导数可以用自身来表示:h(z)’=h(z)(1-h(z))

最大似然估计(MLE):

逻辑回归利用已知的试验结果,反推最有可能(最大概率)导致这样结果的参数值。
Pasted

逻辑回归以对数似然损失作为损失函数(log loss)

Pasted


即在样本X的前提下,使得真实分类结果Y发生的概率最大时,损失最小。
备注:逻辑回归的平方损失函数为非凸函数,存在多个局部最优解,故不采用。

损失函数(Cost Function):

Pasted


Pasted

当 y=1 时,预测为正例的概率(即h(x))越大,模型的损失就越低,当h(x) = 1,即100%认为是正例时,模型损失最低,cost=0,表示完全预测正确.

Pasted

当 y=0 时,预测为正例的概率越大,模型的损失就越大,当h(x)=1,即100%认为是正例时,模型的损失趋向无穷大,表示完全预测错误。
合并损失函数多行式:

Pasted

最终的损失函数形式为:
Pasted

除了假设式h(x) 不同,偏导结果与线性回归完全一致。

多分类 – 多个逻辑回归

Pasted
One vs all (One vs rest):

将多分类问题看成多个独立的二分类问题,例如有A、B、C三个分类,那么训练以下三个分类器:
a) 将训练样本中A分类标记为1,其他标记为0,训练一个能识别是不是A的分类器
b) 将训练样本中B分类标记为1,其他标记为0,训练一个能识别是不是B的分类器
c) 将训练样本中C分类标记为1,其他标记为0,训练一个能识别是不是C的分类器

对于新的输入特征X,通过以上三个分类器进行预测,选择预测概率最大的那个分类器对应的分类作为预测的结果。

转载请注明出处:

© http://hejunhao.me