最小二乘法公式
最小二乘法公式为b=y（平均）-a*x（平均）。
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误养的平方和为最小。最小二乘法还可用于曲线拟合。
未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后得和为最小。在梯度下降时候需要用到最小二乘法，极大似然估计法和交叉熵法，用来比较两个模型的概率分布，而最小二乘法也是梯度下降更新中寻找数值解的优异方法，在统计学习中，需要通过偏差计算梯度。
对于多元线性回归模型，最小二乘法的思路类似，但计算过程更为复杂。通过引入更多的参数，我们需要对更复杂的模型进行估计。在这个过程中，矩阵运算扮演了非常重要的角色。具体地，我们通过构造残差矩阵和设计矩阵来求解参数的最小二乘估计。
最小二乘法公式特点：
1、它的核心是通过最小化预测值与实际值之间的残差平方和来估计线性回归系数，确保预测值与观测值之间的误差最小化。这种方法为数据分析和模型预测提供了一种稳健和可靠的手段。
2、最小二乘法适用于线性回归模型，且假设误差项服从均值为零、方差恒定的正态分布。这一假设确保了估计的无偏性和有效性。同时，它要求数据具有线性关系，使得预测值能准确反映观测数据的变化趋势。
3、最小二乘法的应用广泛，不仅适用于一元线性回归，也适用于多元线性回归。在多元回归分析中，设计矩阵的引入使得我们可以估计多个参数，并考虑多个变量对因变量的影响。此外，通过扩展最小二乘法，还可以用于曲线拟合、时间序列分析等其他统计问题。
绛旓細鏈灏忎簩涔樻硶鍒╃敤鍦ㄥ噺灏戣宸笂锛屾墍浠ュ繀瀹氭湁澶氱粍鏁版嵁鍏充簬X.Y鐨勩傝涓篘缁勩傛墍浠 鈭(Y)=b鈭(X)+N*a 鈭(X*Y)=b鈭(X*X)+a鈭(X)鈭戜负杩炲姞锛屽氨鏄妸鍚庨潰瀛楁瘝瀵瑰簲鐨勬暟鎹兘鍔犺捣鏉ワ紒濡傛暟鎹甔=1.2.3.4.5,鍒欌垜(X)=1+2+3+4+5=15 鏁版嵁Y=2.3.4.5.6 鍒欌垜(Y)=2+3+4+5+6=20 鈭(...
绛旓細浣滀负鎬荤宸 锛屽苟浣夸箣杈惧埌鏈灏忋傝繖鏍峰洖褰掔洿绾垮氨鏄墍鏈夌洿绾夸腑Q鍙栨渶灏忓肩殑閭ｄ竴鏉°傜敱浜庡钩鏂瑰張鍙簩涔樻柟锛屾墍浠ヨ繖绉嶄娇鈥滅宸钩鏂瑰拰涓烘渶灏忊濈殑鏂规硶锛屽彨鍋鏈灏忎簩涔樻硶銆傜敤鏈灏忎簩涔樻硶姹傚洖褰掔洿绾挎柟绋嬩腑鐨刟銆乥鐨鍏紡濡備笅锛氬叾涓紝銆佷负鍜岀殑鍧囧硷紝a銆乥鐨勪笂鏂瑰姞鈥滐缚鈥濊〃绀烘槸鐢辫瀵熷兼寜鏈灏忎簩涔樻硶姹傚緱鐨勪及璁″...
绛旓細鐢鏈灏忎簩涔樻硶姹傚洖褰掔洿绾挎柟绋嬩腑鐨刟,b鏈変笅闈㈢殑鍏紡锛氭渶灏忎簩涔樻硶锛氭荤宸笉鑳界敤n涓宸箣鍜屾潵琛ㄧず锛岄氬父鏄敤绂诲樊鐨勫钩鏂瑰拰锛屽嵆浣滀负鎬荤宸紝骞朵娇涔嬭揪鍒版渶灏忥紝杩欐牱鍥炲綊鐩寸嚎灏辨槸鎵鏈夌洿绾夸腑Q鍙栨渶灏忓肩殑閭ｄ竴鏉★紝杩欑浣库滅宸钩鏂瑰拰鏈灏忊濈殑鏂规硶锛屽彨鍋氭渶灏忎簩涔樻硶锛氱敱浜庣粷瀵瑰间娇寰楄绠椾笉鍙橈紝鍦ㄥ疄闄呭簲鐢ㄤ腑...
绛旓細a=y锛堝钩鍧囷級-b*x锛堝钩鍧囷級銆鏈灏忎簩涔樻硶鍏紡鏄竴涓暟瀛︾殑鍏紡锛屽湪鏁板涓婄О涓烘洸绾挎嫙鍚堬紝姝ゅ鎵璁叉渶灏忎簩涔樻硶锛屼笓鎸囩嚎鎬у洖褰掓柟绋嬶紒鏈灏忎簩涔樻硶鍏紡涓猴細a=y锛堝钩鍧囷級-b*x锛堝钩鍧囷級銆
绛旓細鏈灏忎簩涔樻硶鍏紡 娉細浠ヤ笅鈥滃钩鈥濇槸鎸囨煇鍙傛暟鐨勭畻鏁板钩鍧囧笺傚锛歑骞斥斺攛鐨勭畻鏈钩鍧囧笺1銆佲垜锛圶--X骞筹級锛圷--Y骞筹級= 鈭戯紙XY--X骞砓--XY骞+X骞砓骞筹級= 鈭慩Y--X骞斥垜Y--Y骞斥垜X+nX骞砓骞= 鈭慩Y--nX骞砓骞--nX骞砓骞+nX骞砓骞=鈭慩Y--nX骞砓骞筹紱2銆佲垜锛圶 --X骞筹級^2= 鈭戯紙X^2...
绛旓細鏈灏忎簩涔樻硶鍏紡 鈭(X--X骞)(Y--Y骞)=鈭(XY--X骞砓--XY骞+X骞砓骞)=鈭慩Y--X骞斥垜Y--Y骞斥垜X+nX骞砓骞=鈭慩Y--nX骞砓骞--nX骞砓骞+nX骞砓骞=鈭慩Y--nX骞砓骞 鈭(X --X骞)^2=鈭(X^2--2XX骞+X骞砠2)=鈭慩^2--2nX骞砠2+nX骞砠2=鈭慩^2--nX骞砠2 鏈灏忎簩涔樻硶鍘熺悊 鐢...
绛旓細杩欑姹俧(x)鐨勬柟娉,鍙仛鏈灏忎簩涔樻硶.姹傚緱鐨勫嚱鏁皔=f(x)甯哥О涓虹粡楠鍏紡,鍦ㄥ伐绋嬫妧鏈拰绉戝鐮旂┒鐨勬暟鎹鐞嗕腑骞挎硾浣跨敤.鏈鏅亶鐨勬槸鐩寸嚎(涓娆℃洸绾)鎷熷悎,鍦ㄧ幇浠ｈ川閲忕鐞嗕笂,瀵规暎甯冨浘鐨勭浉鍏冲垎鏋愪笂涔熺敤姝ゆ硶.鏈灏忎簩涔樻硶鏄敤鏈绠鐨勬柟娉曟眰寰椾竴浜涚粷瀵逛笉鍙煡鐨勭湡鍊,鑰屼护璇樊骞虫柟涔嬪拰涓烘渶灏.缁欏畾骞抽潰涓妌涓偣锛(...
绛旓細鍙仛鏈灏忎簩涔樻硶锛氱敱浜庣粷瀵瑰间娇寰楄绠椾笉鍙橈紝鍦ㄥ疄闄呭簲鐢ㄤ腑浜轰滑鏇村枩娆㈢敤锛歈=锛坹1-bx1-a锛²+锛坹2-bx-a²锛+銆傘傘+锛坹n-bxn-a锛²杩欐牱锛岄棶棰樺氨褰掔粨浜庯細褰揳锛宐鍙栦粈涔堝兼椂Q鏈灏忥紝鍗冲埌鐐圭洿绾縴=bx+a鐨勨滄暣浣撹窛绂烩濇渶灏忋傜敤鏈灏忎簩涔樻硶姹傚洖褰掔洿绾挎柟绋嬩腑鐨刟,b鏈変笅闈㈢殑鍏紡锛
绛旓細绾挎鏈灏忎簩涔樻硶鍏紡涓篴=y--b*x-銆傜煩闃电殑鏈灏忎簩涔樻硶甯哥敤浜庢祴閲忔暟鎹鐞嗙殑骞冲樊鍏紡涓紝VTPV=min銆傛渶灏忓钩鏂规硶鍙堝悕鏈灏忎簩涔樻硶锛屾槸涓绉嶆暟瀛︿紭鍖栨妧鏈傞氳繃鏈灏忓寲璇樊鐨勫钩鏂瑰拰瀵绘壘鏁版嵁鐨勬渶浣冲嚱鏁板尮閰嶃傚埄鐢ㄦ渶灏忎簩涔樻硶鍙互绠渚垮湴姹傚緱鏈煡鐨勬暟鎹紝骞朵娇寰楄繖浜涙眰寰楃殑鏁版嵁涓庡疄闄呮暟鎹箣闂磋宸殑骞虫柟鍜屼负鏈灏...
绛旓細y=kx+b銆傛枩鐜囨槸琛ㄧず涓鏉＄洿绾垮叧浜庡潗鏍囪酱鍊炬枩绋嬪害鐨勯噺锛鏈灏忎簩涔樻硶鍏紡姹傛枩鐜囧叕寮忎负y=kx+b銆傛枩鐜囬氬父鐢ㄧ洿绾挎垨鏇茬嚎鐨勫垏绾夸笌妯潗鏍囪酱澶硅鐨勬鍒囷紝鎴栦袱鐐圭殑绾靛潗鏍囦箣宸笌妯潗鏍囦箣宸殑姣旀潵琛ㄧず銆
