机器之心编译的文章“线性回归的局限性”如何？
原文链接：http://tecdat.cn/?p=20882
1导言
这篇文章探讨了为什么使用广义相加模型 是一个不错的选择。为此，我们首先需要看一下线性回归，看看为什么在某些情况下它可能不是最佳选择。
2回归模型
假设我们有一些带有两个属性Y和X的数据。如果它们是线性相关的，则它们可能看起来像这样：
a<-ggplot(my_data, aes(x=X,y=Y))+geom_point()+
为了检查这种关系，我们可以使用回归模型。线性回归是一种使用X来预测变量Y的方法。将其应用于我们的数据将预测成红线的一组值：
a+geom_smooth(col="red", method="lm")+
这就是“直线方程式”。根据此等式，我们可以从直线在y轴上开始的位置（“截距”或α）开始描述，并且每个单位的x都增加了多少y（“斜率”），我们将它称为x的系数，或称为β）。还有一点自然的波动，如果没有的话，所有的点都将是完美的。我们将此称为“残差”（ϵ）。数学上是：
或者，如果我们用实际数字代替，则会得到以下结果：
这篇文章通过考虑每个数据点和线之间的差异（“残差）然后最小化这种差异来估算模型。我们在线的上方和下方都有正误差和负误差，因此，通过对它们进行平方并最小化“平方和”，使它们对于估计都为正。这称为“普通最小二乘法”或OLS。
3非线性关系如何？
因此，如果我们的数据看起来像这样，我们该怎么办：
我们刚刚看到的模型的关键假设之一是y和x线性相关。如果我们的y不是正态分布的，则使用广义线性模型 （Nelder＆Wedderburn，1972），其中y通过链接函数进行变换，但再次假设f（y）和x线性相关。如果不是这种情况，并且关系在x的范围内变化，则可能不是最合适的。我们在这里有一些选择：
我们可以使用线性拟合，但是如果这样做的话，我们会在数据的某些部分上面或者下面。
我们可以分为几类。我在下面的图中使用了三个，这是一个合理的选择。同样，我们可能处于数据某些部分之下或之上，而在类别之间的边界附近似乎是准确的。例如，如果x = 49时，与x = 50相比，y是否有很大不同？
我们可以使用多项式之类的变换。下面，我使用三次多项式，因此模型适合：。这些的组合使函数可以光滑地近似变化。这是一个很好的选择，但可能会极端波动，并可能在数据中引起相关性，从而降低拟合度。
请点击输入图片描述
μi≡E（Yi），Y的期望
Yi〜EF（μi，ϕi），Yi是一个响应变量，根据均值μi和形状参数ϕ的指数族分布。
Ai是任何严格参数化模型分量的模型矩阵的一行，其中θ为对应的参数向量。
fi是协变量xk的光滑函数，其中k是每个函数的基础。
- gam(Y ~ s(X, bs="cr")
s()指定光滑器。还有其他选项，但是s是一个很好的默认选项
bs=“cr”告诉它使用三次回归样条（'basis'）。
s函数计算出要使用的默认结数，但是您可以将其更改为k=10，例如10个结。
- #### Family: gaussian## Link function: identity## Parametric coefficients:## Estimate Std. Error t value Pr(>|t|)## (Intercept) 43.9659 0.8305 52.94 <2e-16 ***## ---## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1#### Approximate significance of smooth terms:## edf Ref.df F p-value## s(X) 6.087 7.143 296.3 <2e-16 ***## ---## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1#### R-sq.(adj) = 0.876 Deviance explained = 87.9%## GCV = 211.94 Scale est. = 206.93 n = 300
显示了我们截距的模型系数，所有非光滑参数将在此处显示
每个光滑项的总体含义如下。
这是基于“有效自由度”（edf）的，因为我们使用的样条函数可以扩展为许多参数，但我们也在惩罚它们并减少它们的影响。
- #### Method: GCV Optimizer: magic## Smoothing parameter selection converged after 4 iterations.## The RMS GCV score gradient at convergence was 1.107369e-05 .## The Hessian was positive definite.## Model rank = 10 / 10#### Basis dimension (k) checking results. Low p-value (k-index<1) may## indicate that k is too low, especially if edf is close to k'.#### k' edf k-index p-value## s(X) 9.00 6.09 1.1 0.97
- anova(my_lm, my_gam)
- ## Analysis of Variance Table#### Model 1: Y ~ X## Model 2: Y ~ s(X, bs = "cr")## Res.Df RSS Df Sum of Sq F Pr(>F)## 1 298.00 88154## 2 292.91 60613 5.0873 27540 26.161 < 2.2e-16 ***## ---## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
NELDER, J. A. & WEDDERBURN, R. W. M. 1972. Generalized Linear Models. Journal of the Royal Statistical Society. Series A (General), 135, 370-384.
HARRELL, F. E., JR. 2001. Regression Modeling Strategies, New York, Springer-Verlag New York.
请点击输入图片描述
4样条曲线
多项式的进一步细化是拟合“分段”多项式，我们在数据范围内将多项式链在一起以描述形状。“样条线”是分段多项式，以绘图员用来绘制曲线的工具命名。物理样条曲线是一种柔性条，可以弯曲成形，并由砝码固定。在构造数学样条曲线时，我们有多项式函数，二阶导数连续，固定在“结”点上。
下面是一个ggplot2 对象，该 对象的 geom_smooth 的公式包含ns 函数中的“自然三次样条” 。这种样条曲线为“三次”，并且使用10个结
请点击输入图片描述
请点击输入图片描述
5光滑函数
样条曲线可以是光滑的或“摇摆的”，这可以通过改变节点数（k）或使用光滑惩罚γ来控制。如果我们增加结的数目，它将更“摇摆”。这可能会更接近数据，而且误差也会更小，但我们开始“过度拟合”关系，并拟合我们数据中的噪声。当我们结合光滑惩罚时，我们会惩罚模型中的复杂度，这有助于减少过度拟合。
请点击输入图片描述
6广义相加模型（GAM）
广义加性模型（GAM）（Hastie，1984）使用光滑函数（如样条曲线）作为回归模型中的预测因子。这些模型是严格可加的，这意味着我们不能像正常回归那样使用交互项，但是我们可以通过重新参数化作为一个更光滑的模型来实现同样的效果。事实并非如此，但本质上，我们正转向一种模型，如：
请点击输入图片描述
摘自Wood （2017）的GAM的更正式示例 是：
请点击输入图片描述
其中：
如果您要建立回归模型，但怀疑光滑拟合会做得更好，那么GAM是一个不错的选择。它们适合于非线性或有噪声的数据。
7 gam拟合
那么，如何 为上述S型数据建立 GAM模型？在这里，我将使用三次样条回归 ：
上面的设置意味着：
8模型输出：
查看模型摘要：
9检查模型：
该 gam.check() 函数可用于查看残差图，但它也可以测试光滑器以查看是否有足够的结来描述数据。但是如果p值很低，则需要更多的结。
请点击输入图片描述
10它比线性模型好吗？
让我们对比具有相同数据的普通线性回归模型：
我们的方差分析函数在这里执行了f检验，我们的GAM模型明显优于线性回归。
11小结
所以，我们看了什么是回归模型，我们是如何解释一个变量y和另一个变量x的。其中一个基本假设是线性关系，但情况并非总是这样。当关系在x的范围内变化时，我们可以使用函数来改变这个形状。一个很好的方法是在“结”点处将光滑曲线链接在一起，我们称之为“样条曲线”
我们可以在常规回归中使用这些样条曲线，但是如果我们在GAM的背景中使用它们，我们同时估计了回归模型以及如何使我们的模型更光滑。
上面的示例显示了基于样条的GAM，其拟合度比线性回归模型好得多。
12参考：
请点击输入图片描述
最受欢迎的见解
1.R语言多元Logistic逻辑回归 应用案例
2.面板平滑转移回归(PSTR)分析案例实现
3.matlab中的偏最小二乘回归（PLSR）和主成分回归（PCR）
4.R语言泊松Poisson回归模型分析案例
5.R语言回归中的Hosmer-Lemeshow拟合优度检验
6.r语言中对LASSO回归，Ridge岭回归和Elastic Net模型实现
7.在R语言中实现Logistic逻辑回归
8.python用线性回归预测股票价格
9.R语言如何在生存分析与Cox回归中计算IDI，NRI指标
绛旓細渭=伪+尾x涓紝伪绉板洖褰掔洿绾跨殑锛堟埅璺濓級锛屛茬О鍥炲綊鐩寸嚎鐨勶紙鏂滅巼锛夈傛埅璺濆氨鏄洖褰掔洿绾垮悜y鏂瑰悜骞崇Щ绂诲師鐐圭殑璺濈锛屾枩鐜囧氨鏄洖褰掔洿绾跨殑鍊炬枩鐨勭▼搴︺偽,尾绯绘暟鐨勫疄闄呮剰涔変笌瀹為獙鏁版嵁鏈夊叧锛屾瘮濡傚尰瀛﹀疄楠屾暟鎹笌宸ョ▼瀹為獙鏁版嵁寰楀嚭鐨勫洖褰掔洿绾课,尾绯绘暟瀹為檯鎰忎箟鍙兘灏变笉鍚屼簡銆绾挎у洖褰涔熷彲鐢‥XCEL銆
绛旓細涓銆佸熀鐭充箣绾挎у洖褰</ 绾挎у洖褰掞紝浣滀负瀹舵棌涓殑鍩虹煶锛屽畠鐨勭洰鏍囨槸绮惧噯鎹曟崏杈撳叆涓庤緭鍑虹殑鐩寸嚎鑱旂郴銆傛渶灏忎簩涔樻硶鐨勫鐢紝浣垮緱妯″瀷鍦ㄦ嫙鍚堣繃绋嬩腑杩芥眰璇樊鏈灏忓寲锛岀‘淇濅簡鍏跺湪棰勬祴棰嗗煙鐨勭簿纭у拰骞挎硾閫傜敤鎬э紝濡傚ぉ姘旈娴嬨佽偂甯傛尝鍔紝鐢氳嚦鏄晢涓氱瓥鐣ョ殑鍒跺畾銆傜壒鐐瑰涓嬶細褰㈠紡绠娲</ - 绾挎у洖褰掔殑鏁板琛ㄨ揪鐩磋锛屾槗浜庣悊瑙...
绛旓細浣垮緱杩欎釜璺濈涔嬪拰鏈灏忋傞氳繃姹傚鍙互寰楀埌鏈灏忓寲璺濈涔嬪拰鐨勮В鏋愯В锛屼粠鑰岃В鍑 b 鍏紡銆傛讳箣锛绾挎у洖褰鏂圭▼涓殑 b 鍏紡鏄湪楂樹腑鏁板涓涔犵殑锛屽畠鏄熀浜庢渶灏忎簩涔樻硶鎺ㄥ鍑烘潵鐨勩傜悊瑙ｇ嚎鎬у洖褰掓柟绋嬬殑鍩虹鐭ヨ瘑瀵逛簬鏈潵鐨鏈哄櫒瀛︿範鍜屾暟鎹垎鏋愬伐浣滈潪甯搁噸瑕侊紝鍥犳鎴戜滑搴旇璁ょ湡瀵瑰緟瀛︿範杩欎釜姒傚康銆
绛旓細鏈哄櫒瀛︿範鐨勪紭缂虹偣鍒嗕负绾挎у洖褰銆侀昏緫鍥炲綊鍜孠NN涓夋柟闈㈡潵璇淬備竴銆佺嚎鎬у洖褰 鍘熺悊锛氶氳繃灞炴х殑绾挎х粍鍚堟潵杩涜棰勬祴鐨勭嚎鎬фā鍨嬶紝鍏剁洰鐨勬槸鎵惧埌涓鏉＄洿绾挎垨鑰呬竴涓钩闈㈡垨鑰呬竴涓秴骞抽潰锛屼娇寰楅娴嬪间笌鐪熷疄鍊间箣闂寸殑璇樊鏈灏忓寲銆備紭鐐癸細1銆佹濇兂绠鍗曪紝瀹规槗瀹炵幇銆傚缓妯¤繀閫燂紝瀵逛簬灏忔暟鎹噺銆佺畝鍗曠殑鍏崇郴寰堟湁鏁堛2銆佹槸璁稿寮哄ぇ鐨...
绛旓細澶氬厓绾挎у洖褰掔殑鍩烘湰鍘熺悊鍜屽熀鏈绠楄繃绋嬩笌涓鍏冪嚎鎬у洖褰掔浉鍚岋紝浣嗙敱浜庤嚜鍙橀噺涓暟澶氾紝璁＄畻鐩稿綋楹荤儲锛屼竴鑸湪瀹為檯涓簲鐢ㄦ椂閮借鍊熷姪缁熻杞欢銆傝繖閲屽彧浠嬬粛澶氬厓绾挎у洖褰掔殑涓浜涘熀鏈棶棰樸備絾鐢变簬鍚勪釜鑷彉閲忕殑鍗曚綅鍙兘涓嶄竴鏍凤紝姣斿璇翠竴涓秷璐规按骞崇殑鍏崇郴寮忎腑锛屽伐璧勬按骞炽佸彈鏁欒偛绋嬪害銆佽亴涓氥佸湴鍖恒佸搴礋鎷呯瓑绛夊洜绱犻兘浼氬奖鍝嶅埌...
绛旓細D 渚濇嵁涓や釜鍙橀噺鍏锋湁鐩稿叧鍏崇郴鐨勬剰涔夊彲鐭,A姝ｇ‘;鏍规嵁鏁ｇ偣鍥剧殑瀹氫箟寰桞姝ｇ‘;鏍规嵁鏈灏忎簩涔樻硶鐨勬濇兂,鎵姹傚緱鐨勫洖褰掔洿绾,婊¤冻涓缁勬暟鎹搴旂偣鍒拌鐩寸嚎鐨勮窛绂绘渶灏,鍗绾挎у洖褰鐩寸嚎鏂圭▼鏈鑳戒唬琛ㄨ娴嬪紉,y涔嬮棿鐨勫叧绯,鏁匔姝ｇ‘;D涓嶆纭,鐢辩浉鍏崇郴鏁皉 xy 鎰忎箟鍙煡鐩稿叧绯绘暟r xy 瓒婃帴杩戜簬1,鍒欑嚎鎬х浉鍏虫ц秺寮.
绛旓細淇濈暀涓昏淇℃伅锛夈傜劧鑰岋紝PCA涔熸湁鍏跺眬闄愭э紝闈㈠澶嶆潅鐨勬暟鎹粨鏋勶紝鍏舵晥鏋滃彲鑳戒笉灏藉浜烘剰銆傝繖鏃讹紝鎴戜滑鍙互杞岃冭檻闈炵嚎鎬ч檷缁存柟娉曪紝浠ラ傚簲鏇翠赴瀵岀殑鏁版嵁鐗规с傚湪PCA鐨勫熀纭涓婏紝鏈灏忓钩鏂硅宸悊璁轰负闄嶇淮杩囩▼鎻愪緵浜嗗彟涓绉嶈瑙掞紙绾挎у洖褰掔殑寤朵几锛屾渶灏忓寲璇樊鐨勪紭鍖栵級銆傚畠瀵绘壘鏈浣虫姇褰辨柟鍚戯紝灏嗘暟鎹偣鎷熷悎鍒颁竴涓秴骞抽潰涓...
绛旓細鏈鏂板彂甯 銆愬ぇ閬撹嚦绠銆鏈哄櫒瀛︿範绠楁硶涔嬮昏緫鍥炲綊(Logistic Regression)璇﹁В(闄勪唬鐮)---闈炲父閫氫織鏄撴噦!閫昏緫鍥炲綊璇︾粏鎺ㄥ,闄刧ithub浠ｇ爜缁х画璁块棶绗簩閲嶈鏋侀檺鍏紡鎺ㄥ杩囩▼_鏈哄櫒瀛︿範鈥斺斾竴鏂囪瑙ｉ昏緫鍥炲綊銆岄檮璇︾粏鎺ㄥ鍜屼唬鐮併...鍦ㄤ箣鍓鐨勬枃绔褰撲腑,鎴戜滑鎺ㄥ浜绾挎у洖褰掔殑鍏紡,绾挎у洖褰掓湰璐ㄦ槸绾挎у嚱鏁,妯″瀷鐨勫師鐞嗕笉闅,鏍稿績鏄眰瑙...
绛旓細鐢ㄦ渶灏忎簩涔樻硶姹鍥炲綊鐩寸嚎鏂圭▼涓殑a,b鏈変笅闈㈢殑鍏紡锛氭渶灏忎簩涔樻硶锛氭荤宸笉鑳界敤n涓宸箣鍜屾潵琛ㄧず锛岄氬父鏄敤绂诲樊鐨勫钩鏂瑰拰锛屽嵆浣滀负鎬荤宸紝骞朵娇涔嬭揪鍒版渶灏忥紝杩欐牱鍥炲綊鐩寸嚎灏辨槸鎵鏈夌洿绾夸腑Q鍙栨渶灏忓肩殑閭ｄ竴鏉★紝杩欑浣库滅宸钩鏂瑰拰鏈灏忊濈殑鏂规硶锛屽彨鍋氭渶灏忎簩涔樻硶锛氱敱浜庣粷瀵瑰间娇寰楄绠椾笉鍙橈紝鍦ㄥ疄闄呭簲鐢ㄤ腑...
绛旓細鍦‥xcel鍜宻pss涓繘琛屽鍏绾挎у洖褰鍒嗘瀽,璁＄畻姣忎釜鑷彉閲忓垎鍒鍥犲彉閲忕殑瑙ｉ噴閲忕殑鐩稿叧鍐呭濡備笅:鐢⊿PSS杩涜澶氬厓鍥炲綊浠ュ悗,绯荤粺浼氳嚜鍔ㄧ粰鍑簒1銆亁2鍜寈3(浠庡ぇ鍒板皬)鐨凴鐨勫钩鏂瑰拰,鐩稿噺灏辨槸瑙ｉ噴鐜囥 鏈洖绛旂敱鐢佃剳缃戠粶鍒嗙被杈句汉 閮己鎺ㄨ崘 涓炬姤| 绛旀绾犻敊 | 璇勮 0 1 GoddenSave 閲囩撼鐜:82% 鏉ヨ嚜鍥㈤槦:鍔炲叕杞欢瀹炶返 鎿呴暱: 鍏跺畠...
