什么是最小二乘法？
最小二乘法处理数据的方法如下：
最小二乘法就是说，用离差平方和最小的方法。
先求出数据的均值和方差，然后求出所有数据与均值的差的平方和。 离差平方和是各项与平均项之差的平方的总和用各个离差的平方和M=∑(i=1到n)[yi-(axi+b)]^2最小来保证每个离差的绝对值都很小。
定义
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
最小二乘法还可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达 。
1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。只有时年24岁的高斯所计算的谷神星的轨道，
被奥地利天文学家海因里希·奥尔伯斯的观测所证实，使天文界从此可以预测到谷神星的精确位置。同样的方法也产生了哈雷彗星等很多天文学成果。高斯使用的方法就是最小二乘法，该方法发表于1809年他的著作《天体运动论》中 [ 。其实法国科学家勒让德于1806年独立发明“最小二乘法”，但因不为世人所知而默默无闻 。
1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明 。
绛旓細鏈灏忎簩涔樻硶锛堝張绉版渶灏忓钩鏂规硶锛夋槸涓绉嶆暟瀛︿紭鍖栨妧鏈傚畠閫氳繃鏈灏忓寲璇樊鐨勫钩鏂瑰拰瀵绘壘鏁版嵁鐨勬渶浣冲嚱鏁板尮閰銆傚埄鐢ㄦ渶灏忎簩涔樻硶鍙互绠渚垮湴姹傚緱鏈煡鐨勬暟鎹紝骞朵娇寰楄繖浜涙眰寰楃殑鏁版嵁涓庡疄闄呮暟鎹箣闂磋宸殑骞虫柟鍜屼负鏈灏忋傛渶灏忎簩涔樻硶杩樺彲鐢ㄤ簬鏇茬嚎鎷熷悎銆傚叾浠栦竴浜涗紭鍖栭棶棰樹篃鍙氳繃鏈灏忓寲鑳介噺鎴栨渶澶у寲鐔电敤鏈灏忎簩涔樻硶鏉...
绛旓細1銆佹渶灏忎簩涔樻硶鐨勫師鐞嗭細鏈灏忎簩涔樻硶鐨勫熀鏈師鐞嗘槸閫氳繃鏈灏忓寲瀹為檯鏁版嵁鍜岀悊璁烘ā鍨嬩箣闂寸殑璇樊骞虫柟鍜屾潵鎵惧埌鏈浣崇殑鎷熷悎鍙傛暟銆傝繖涓宸钩鏂瑰拰鍙互琛ㄧず涓猴細瀹為檯鏁版嵁涓庣悊璁烘ā鍨嬩箣闂寸殑宸窛锛屽樊璺濊秺灏忚鏄庢嫙鍚堝害瓒婇珮銆2銆佹渶灏忎簩涔樻硶鐨勫簲鐢細鏈灏忎簩涔樻硶鍙互鐢ㄤ簬鍚勭涓嶅悓鐨勯鍩熴傚湪缁熻瀛︿腑锛屽畠鍙互鐢ㄤ簬鎷熷悎绾挎у洖褰掓ā...
绛旓細鏈灏忎簩涔樻硶锛堝張绉版渶灏忓钩鏂规硶锛夋槸涓绉嶆暟瀛︿紭鍖栨妧鏈傚畠閫氳繃鏈灏忓寲璇樊鐨勫钩鏂瑰拰瀵绘壘鏁版嵁鐨勬渶浣冲嚱鏁板尮閰銆傚埄鐢ㄦ渶灏忎簩涔樻硶鍙互绠渚垮湴姹傚緱鏈煡鐨勬暟鎹紝骞朵娇寰楄繖浜涙眰寰楃殑鏁版嵁涓庡疄闄呮暟鎹箣闂磋宸殑骞虫柟鍜屼负鏈灏忋傛渶灏忎簩涔樻硶杩樺彲鐢ㄤ簬鏇茬嚎鎷熷悎銆傚叾浠栦竴浜涗紭鍖栭棶棰樹篃鍙氳繃鏈灏忓寲鑳介噺鎴栨渶澶у寲鐔电敤鏈灏忎簩涔樻硶鏉...
绛旓細鏈灏忎簩涔樻硶鐨勫熀鏈師鐞嗘槸閫氳繃鏈灏忓寲璇樊鐨勫钩鏂瑰拰鏉ュ鎵炬暟鎹殑鏈浣冲嚱鏁板尮閰銆瀹冧富瑕佺敤浜庢洸绾挎嫙鍚堬紝浠ヨВ鍐冲洖褰掗棶棰銆傛渶灏忎簩涔樻硶鏄竴绉嶅湪璇樊浼拌銆佷笉纭畾搴︺佺郴缁熻鲸璇嗗強棰勬祴銆侀鎶ョ瓑鏁版嵁澶勭悊璇稿瀛︾棰嗗煙寰楀埌骞挎硾搴旂敤鐨勬暟瀛﹀伐鍏枫傛渶灏忎簩涔樻硶锛堝張绉版渶灏忓钩鏂规硶锛夋槸涓绉嶆暟瀛︿紭鍖栨妧鏈傚畠閫氳繃鏈灏忓寲璇樊鐨勫钩鏂...
绛旓細鏈灏忎簩涔樻硶鏄竴绉嶇敤浜庡鎵炬暟鎹渶浣虫嫙鍚堢嚎鎴栨洸绾跨殑鏂规硶銆傚畠鐨勬牳蹇冩濇兂鏄紝閫氳繃鏈灏忓寲瑙傛祴鏁版嵁鐐逛笌鎷熷悎绾匡紙鎴栨洸绾匡級涔嬮棿鐨勫瀭鐩磋窛绂荤殑骞虫柟鍜岋紝鏉ョ‘瀹氭渶浣虫嫙鍚堢殑鍙傛暟銆傛兂璞′竴缁勬暎鐐规暟鎹紝浣犳兂瑕佹壘鍒颁竴鏉＄洿绾挎垨鏇茬嚎锛屼娇寰楁墍鏈夎繖浜涚偣鍒拌繖鏉＄嚎锛堟垨鏇茬嚎锛夌殑璺濈涔嬪拰鐨勫钩鏂瑰敖鍙兘灏忋傛渶灏忎簩涔樻硶灏辨槸涓轰簡鎵惧埌杩...
绛旓細鏈灏忎簩涔樻硶锛屽張绉版渶灏忓钩鏂规硶锛屾槸涓绉嶆暟瀛︽妧鏈傚畠閫氳繃鏈灏忚宸殑骞虫柟鍜屽鎵炬暟鎹嚱鏁扮殑鏈浣冲尮閰嶃傛渶灏忎簩涔樻硶鏄彁渚涒滆娴嬬粍鍚堚濈殑涓昏宸ュ叿涔嬩竴锛屽畠渚濇嵁瀵规煇浜嬩欢鐨勫お閲忚娴嬭岃幏寰楁渶浣崇粨鏋滄垨鈥滄渶鍙兘鈥濊〃鐜板舰寮忋傚宸辩煡涓ゅ彉閲忎负绾挎у叧绯籝=u+濂筹紝瀵瑰叾杩涜>2)娆¤娴嬭岃幏寰楀鏁版嵁銆傝嫢灏嗚繖鈥濆鏁版嵁浠ｅ叆...
绛旓細鏈灏忎簩涔樻硶锛堝張绉版渶灏忓钩鏂规硶锛夋槸涓绉嶆暟瀛︿紭鍖栨妧鏈銆傚畠閫氳繃鏈灏忓寲璇樊鐨勫钩鏂瑰拰瀵绘壘鏁版嵁鐨勬渶浣冲嚱鏁板尮閰嶃傚埄鐢ㄦ渶灏忎簩涔樻硶鍙互绠渚垮湴姹傚緱鏈煡鐨勬暟鎹紝骞朵娇寰楄繖浜涙眰寰楃殑鏁版嵁涓庡疄闄呮暟鎹箣闂磋宸殑骞虫柟鍜屼负鏈灏忋傝闊筹細[ zu矛 xi菐o 猫r ch茅ng f菐 ]鍘嗗彶锛1801骞达紝鎰忓ぇ鍒╁ぉ鏂囧瀹舵湵璧涙櫘路鐨簹榻愬彂鐜颁簡绗...
绛旓細鏈灏忎簩涔樻硶鏄竴绉嶇敤浜庢嫙鍚堟暟鎹拰浼拌鍙傛暟鐨勬暟瀛︽柟娉曪紝鍏舵牳蹇冩濇兂鏄氳繃鏈灏忓寲瀹為檯瑙傛祴鍊间笌鎷熷悎鍊间箣闂寸殑娈嬪樊骞虫柟鍜屾潵纭畾妯″瀷鐨勫弬鏁般傚湪鏈灏忎簩涔樻硶涓紝閫氬父閲囩敤骞虫柟鍜岀殑褰㈠紡锛岃繖鏄洜涓哄钩鏂瑰拰鍏锋湁鑹ソ鐨勬暟瀛︽ц川锛岃屼笖鍙互鏇翠负鏁忔劅鍦板弽鏄犺宸殑澶у皬銆傚叿浣撴潵璇达紝鏈灏忎簩涔樻硶鐨勫師鐞嗗彲浠ユ鎷负浠ヤ笅鍑犱釜姝ラ锛...
绛旓細鏈灏忎簩涔浼拌閲忔槸鍏锋湁鏈灏忔柟宸殑绾挎ф棤鍋忎及璁￠噺銆傛潯浠舵敹鏁涘苟涓嶈兘淇濊瘉鏈熸湜涓瀹氬瓨鍦紝濡傦細鈭憍p锛寈=n锛宲=1/n 脳锛-1锛夌殑n娆℃柟 锛屸垜p涓烘潯浠舵敹鏁涳紝鈭戯紙-1锛夌殑n娆℃柟鐨勫兼槸涓嶅瓨鍦ㄧ殑銆傜幇浠ｇ幆澧冧笅锛屽埄鐢ㄧ伒娲绘棤搴忕殑缃戠粶浼犳挱锛岃埃瑷浼犳挱鍙樼殑閫熷害鏇村揩銆佷綔鐢ㄥ姏鏇村己銆傛湁浜涙祦瑷鍦ㄤ紶鎾腑锛屽父甯稿彉鏍凤紝杩欎竴鏂归潰...
