回归系数(自变量x对因变量y影响大小的参数)

在回归方程中表示自变量x对因变量y影响大小的参数。回归系数越大表示x对y影响越大,正回归系数表示y随x增大而增大,负回归系数表示y随x增大而减小。回归方程式^Y=bX+a中之斜率b,称为回归系数,表X每变动一单位,平均而言,Y将变动b单位。标准化回归系数的比较结果只是适用于某一特定环境的,而不是绝对正确的,它可能因时因地而变化。

系数理解

1、相关系数与回归系数:A回归系数大于零则相关系数大于零

B回归系数小于零则相关系数小于零

(它们的取值符号相同)

2、回归系数:由回归方程求导数得到,所以,回归系数>0,回归方程曲线单调递增;

回归系数<0,回归方程曲线单调递j减;

回归系数=0,回归方程求最值(最大值、最小值)

从线性回归到Logistic回归

线性回归和Logistic回归都是广义线性模型的特例。/n

假设有一个因变量y和一组自变量x1,x2,x3,…,xn,其中y为连续变量,我们可以拟合一个线性方程:/n

y=β0+β1*x1+β2*x2+β3*x3+…+βn*xn/n

并通过最小二乘法估计各个β系数的值。/n

如果y为二分类变量,只能取值0或1,那么线性回归方程就会遇到困难:方程右侧是一个连续的值,取值为负无穷到正无穷,而左侧只能取值[0,1],无法对应。为了继续使用线性回归的思想,统计学家想到了一个变换方法,就是将方程右边的取值变换为[0,1]。最后选中了Logistic函数:/n

y=1/(1+e-x)/n

这是一个S型函数,值域为(0,1),能将任何数值映射到(0,1),且具有无限阶可导等优良数学性质。/n

我们将线性回归方程改写为:/n

y=1/(1+e-z),/n

其中,z=β0+β1*x1+β2*x2+β3*x3+…+βn*xn/n

此时方程两边的取值都在0和1之间。/n

进一步数学变换,可以写为:/n

Ln(y/(1-y))=β0+β1*x1+β2*x2+β3*x3+…+βn*xn/n

Ln(y/(1-y))称为Logit变换。我们再将y视为y取值为1的概率p(y=1),因此,1-y就是y取值为0的概率p(y=0),所以上式改写为:/n

p(y=1)=ez/(1+ez),/n

p(y=0)=1/(1+ez),/n

其中,z=β0+β1*x1+β2*x2+β3*x3+…+βn*xn./n

接下来就可以使用”最大似然法”估计出各个系数β。

该文章由作者:【潼关怀古】发布,本站仅提供存储、如有版权、错误、违法等相关信息请联系,本站会在1个工作日内进行整改,谢谢!

发表回复

登录后才能评论