逻辑回归 | 黄汉卿

逻辑回归先从线形回归引入，即通过一些数据去拟合一个函数$y=wx +b$,再来一个新的数据$x_i$，可以通过这个函数(模型)得到它对应的输出

通过均方误差求解函数参数

$E_{(w,b)}=min \sum_i^m(y_i-wx_i-b)^2$

上式子分别对w,b求导并令导数为0解出

$w=\frac {\sum_i^my_i(x_i-\hat x)}{\sum_i^mx_i^2-\frac{1}{m}(\sum_i^mx_i)^2}$

$b=\frac{1}{m}\sum_1^m(y_i-wx_i)$

将上述的线形模型整体输入sigmod函数就可以得到逻辑回归

即将$y=wx+b$整体输入进$y=\frac{1}{1+e^{-z}}$,得到一个0-1之间的概率值

对每个输入x，通过逻辑回归都会得到一个概率值，代表它是正类的概率或者是负类的概率是多少，得到

$p(y=1|x)=\frac{e^{w^Tx+b}}{1+e^{w^Tx+b}}$

$p(y=0|x)=\frac{1}{1+e^{w^Tx+b}}$

逻辑回归的模型代表了什么样的输入就会得到什么样概率的输出，那如何得到模型的参数，有了输入，它所对应的分类—比如是0还是1，目标定为使得模型输出为label的概率最大

所以先定义个似然函数：

$l(w,b)=\sum_i^mlnp(y_i|x_i;w,b)$—>输入$x_i$，得到$y_i$的概率要尽可能的大

在二分类中

$$p(y_i|x_i;w,b)=y_ip_1(x_i;w,b)+(1-y_i)p_0(x_i;w,b)$$

所以将上式代入loss函数中，得到最终的目标函数：

$$l(w,b)=min \sum_i^m(-y_i(wx_i+b)+ln((1+e^{wx_i+b})))$$

用梯度下降法等解决凸优化等可以解得w,b

$z=w^Tx+b$

$\hat{y}=a=\sigma(z)$

$L(a,y)=-(ylog(a)+(1-y)log(1-a))$