牛顿法为什么比梯度下降法求解需要的迭代次数更少？ 请问你知道梯度下降法和牛顿法吗？ 我想知道为什么牛顿法下降的...
\u6700\u4f18\u5316\u95ee\u9898\u4e2d\uff0c\u725b\u987f\u6cd5\u4e3a\u4ec0\u4e48\u6bd4\u68af\u5ea6\u4e0b\u964d\u6cd5\u6c42\u89e3\u9700\u8981\u7684\u8fed\u4ee3\u6b21\u6570\u66f4\u5c11\uff1f\u4e0d\u8fc7\u725b\u987f\u6cd5\u5bf9\u521d\u503c\u7684\u8981\u6c42\u66f4\u4e3a\u4e25\u683c\uff0c\u5f88\u5bb9\u6613\u5f97\u5230\u5c40\u90e8\u6781\u5c0f\u503c
\u725b\u987f\u4e0b\u964d\u6cd5\u5e94\u8be5\u662f\u81ea\u7531\u843d\u4f53\uff0c\u68af\u5ea6\u6cd5\u5219\u662f\u6709\u6469\u64e6\u529b\u6240\u4ee5\u4f1a\u5f71\u54cd\u901f\u5ea6
牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快。如果更通俗地说的话，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑你走了一步之后，坡度是否会变得更大。所以，可以说牛顿法比梯度下降法看得更远一点，能更快地走到最底部。根据wiki上的解释，从几何上说，牛顿法就是用一个二次曲面去拟合你当前所处位置的局部曲面，而梯度下降法是用一个平面去拟合当前的局部曲面，通常情况下，二次曲面的拟合会比平面更好，所以牛顿法选择的下降路径会更符合真实的最优下降路径。1. 牛顿法起始点不能离局部极小点太远，否则很可能不会收敛。(考虑到二阶拟合应该很容易想象)，所以实际操作中会先使用别的方法，比如梯度下降法，使更新的点离最优点比较近，再开始用牛顿法。
2. 牛顿法每次需要更新一个二阶矩阵，当维数增加的时候是非常耗内存的，所以实际使用是会用拟牛顿法。
3. 梯度下降法在非常靠近最优点时会有震荡，就是说明明离的很近了，却很难到达，因为线性的逼近非常容易一个方向过去就过了最优点(因为只能是负梯度方向)。但牛顿法因为是二次收敛就很容易到达了。牛顿法最明显快的特点是对于二阶函数(考虑多元函数的话要在凸函数的情况下)，牛顿法能够一步到达，非常有效。
实际中用的牛顿法严格意义上不是二次收敛，因为步长设定的关系。为了方便分析两个问题的收敛的性能，给出如下两个条件：
1. 假设问题是无约束凸优化问题，即求凸函数的最小值。凸优化问题是应用最广的优化模型，因为它最容易解决，实际应用中的很多问题都是能转化为凸优化问题的。
2. 进一步，假设目标函数在可行域上是强凸的，即存在，使得成立。第一个阶段回溯直线搜索时步，因此称为阻尼牛顿阶段。在第二个阶段已经很靠近了，此时始终有，牛顿法的收敛会极为迅速，称为二次收敛阶段，也称为纯牛顿阶段。在绝大多数的情况下，第二个阶段的迭代次数不会超过五六次，这也是牛顿法相较于梯度下降法最大的优势，而且牛顿法对高维计算的应对也非常好。
我想最开始接触梯度的各位是在方向导数那一章接触这一概念的，如果老师没怎么讲的话可能有些人还不知道梯度是个向量。当你学梯度的时候，所有的概念全都是在二元函数下的，well，也写想象力不是很丰富的同学可能不知道这是个啥。来，我们降维先。多维条件下是曲面对函数的一阶偏导数向量<fx,fy>，那么在一维条件下梯度会是什么的，显然就木有偏导数了，只有一个东西，当然你也可以把它写成向量的形式<fx>，就是一个导数，只不过现在变成一维的了，所以方向只有俩，向左和向右。值为正的时候向右，值为负的时候向左，值大值小不影响方向只影响距离。
绛旓細姊害涓嬮檷娉锛圙radient Descent锛夛細姊害涓嬮檷娉曟槸涓绉嶈凯浠姹傝В鏈浼橀棶棰樼殑甯哥敤鏂规硶銆傚畠閫氳繃璁＄畻鐩爣鍑芥暟鐨勬搴︼紙鍗冲鏁帮級锛屾部鐫姊害鏂瑰悜閫愭閫艰繎鏈浼樿В銆傛搴︿笅闄嶆硶閫傜敤浜庢眰瑙ｈ繛缁彲寰殑鐩爣鍑芥暟锛岀壒鍒槸鍑镐紭鍖栭棶棰樸鐗涢】娉锛圢ewton's Method锛夛細鐗涢】娉曟槸涓绉嶅熀浜庝簩闃跺鏁扮殑鏈浼樺寲绠楁硶銆傚畠鍒╃敤鐩爣鍑芥暟鐨勪竴闃跺拰...
绛旓細鍙互鐪嬪嚭,铏界劧鐗涢】娉鏀舵暃閫熷害杈冨揩,浣嗘槸姣忔杩唬杩囩▼,璁＄畻娴峰鐭╅樀鐨勯嗚繃绋嬬浉褰撶箒鐞,鐗瑰埆鏄綋璇ョ煩闃电淮搴﹁緝澶ф椂.鍥犳灏辨湁浜嗛嗙墰椤挎硶,浠栦娇鐢ㄦ瀹氱煩闃垫潵杩戜技姹傛捣濉炵煩闃电殑閫.鎷熺墰椤挎硶鍜姊害涓嬮檷娉涓鏍峰彧瑕佹眰姣忎竴姝ヨ凯浠ｆ椂鐭ラ亾鐩爣鍑芥暟鐨勬搴,鍙﹀锛屽洜涓烘嫙鐗涢】娉曚笉闇瑕浜岄樁瀵兼暟鐨勪俊鎭紝鎵浠ユ湁鏃舵瘮鐗涢】娉曟洿涓...
绛旓細鍙︿竴鏂归潰锛屽嵆浣块棶棰樺彲瀵硷紝姊害涓嬮檷鏈夋椂骞朵笉鏄渶浣抽夋嫨銆傛搴︿笅闄嶇殑鎬ц兘璺熼棶棰樼殑鏉′欢鏁扮浉鍏筹紝鍦ㄦ潯浠舵暟姣旇緝澶ф椂闂涓搴︿笅闄嶅彲鑳戒細闈炲父鎱傜浉瀵规潵璇达紝浠ユ嫙鐗涢】娉涓轰唬琛ㄧ殑浜岄樁鏂规硶娌℃湁杩欎釜闂锛岃櫧鐒舵嫙鐗涢】娉曞湪楂樼淮闂涓細鏈夎绠楅噺鍋忓ぇ鐨勯棶棰橈紝浣嗗湪寰堝鍦烘櫙杩樻槸姣旀搴︿笅闄鏈変紭鍔裤傚啀姣斿锛屽湪姊害璁＄畻浠ｄ环...
绛旓細鏄鐗涢】杩唬娉曞彧鏄凯浠ｆ硶褰撲腑鐨勪竴绉嶆瘮杈冪畝鍗曠殑绠楁硶锛屽湪鐗涢】杩唬娉曠殑鍩虹涓婃湁寰堝鏀硅繘鐨勭畻娉曪紝姣斿姊害涓嬮檷娉銆丩M绠楁硶绛夌瓑銆
绛旓細.鍥犺岃繖鏍风殑璁＄畻鏂规硶鏈夋椂涓嶅煎緱鎻愬.鐩告瘮涔嬩笅,姊害涓嬮檷娉铏界劧鏈変竴浜涘紛绔,杩唬鐨勬鏁板彲鑳戒篃姣旇緝楂,浣嗘槸鐩稿鏉ヨ璁＄畻閲忓苟涓嶆槸鐗瑰埆澶.鑰屼笖,鍦ㄦ渶灏忎簩涔樻硶杩欎釜闂涓,鏀舵暃鎬ф湁淇濊瘉.鏁呭湪澶ф暟鎹噺鐨勬椂鍊,鍙嶈屾槸姊害涓嬮檷娉 (鍏跺疄搴旇鏄叾浠栦竴浜涙洿濂界殑杩唬鏂规硶)鏇村姞鍊煎緱琚娇鐢....
绛旓細姊害涓嬮檷娉鏄竴绉嶆暟鍊间紭鍖栨柟娉曪紝鐢ㄤ簬姹傝В澶氬厓鍑芥暟鐨勬瀬鍊笺傞氳繃杩唬璁＄畻姊害骞跺湪姊害鐨勮礋鏂瑰悜涓婅繘琛屾悳绱紝鍙互鎵惧埌鍑芥暟鐨勫眬閮ㄦ渶灏忓笺5. 榛勯噾鍒嗗壊娉曪細榛勯噾鍒嗗壊娉曟槸涓绉嶆暟鍊间紭鍖栨柟娉曪紝鐢ㄤ簬姹傝В涓鍏冨嚱鏁扮殑鏋佸笺傞氳繃閫夊彇鍚堥傜殑鍒濆鎼滅储鍖洪棿鍜屾敹缂╁洜瀛愶紝鍙互鍦ㄩ粍閲戝垎鍓茬偣闄勮繎鎵惧埌鍑芥暟鐨勬瀬鍊笺6. 鐗涢】娉锛氱墰椤挎硶鏄...
绛旓細鐗涢】娉锛氱墰椤挎硶鏄竴绉嶅埄鐢ㄥ嚱鏁扮殑浜岄樁瀵兼暟淇℃伅鏉ュ姞閫熸敹鏁涚殑浼樺寲绠楁硶銆傚湪纭畾鎷夋牸鏈楁棩涔樺瓙鍜岀綒鍥犲瓙鏃讹紝鍙互閫氳繃鏋勫缓鐩爣鍑芥暟鐨勪簩闃舵嘲鍕掑睍寮锛屽苟姹傝В鐩稿簲鐨勬瑙勬柟绋嬫潵鏇存柊鍙橀噺鍊笺傜墰椤挎硶閫氬父姣旀搴︿笅闄嶆硶鏀舵暃寰楁洿蹇紝浣嗗畠闇瑕璁＄畻鐩爣鍑芥暟鐨凥essian鐭╅樀鍙婂叾閫嗙煩闃点傚唴鐐规硶锛氬唴鐐规硶鏄竴绉嶅鐞嗙嚎鎬у拰闈炵嚎鎬т紭鍖栭棶棰...
绛旓細鎺㈢储浼樺寲绠楁硶鐨勪笘鐣岋細浠庡眬閮ㄥ埌鍏ㄥ眬鐨姹傝В绛栫暐 鍦ㄦ満鍣ㄥ涔犵殑鎺㈢储涔嬫梾涓紝鏈浼樺寲鐞嗚鐘瑰瀵艰埅鐏锛屽紩瀵兼垜浠鎵炬暟鎹殑鏈浼樿В銆傜畻娉曠殑娴锋磱涓紝鎴戜滑鏈夋暟绉嶆牳蹇冨伐鍏凤紝濡姊害涓嬮檷銆鐗涢】娉銆佹瀬澶т技鐒朵及璁′笌璐濆彾鏂柟娉曪紝瀹冧滑鍚勮嚜鍦ㄤ笉鍚屽満鏅腑澶ф樉韬墜銆傛搴︿笅闄嶏細鍕囧線鐩村墠鐨勫厛閿嬩綔涓轰竴闃朵紭鍖绠楁硶锛屾搴︿笅闄嶅鍚岀櫥灞...
绛旓細姊害涓嬮檷娉铏界劧鏈変竴浜涘紛绔,杩唬鐨勬鏁板彲鑳戒篃姣旇緝楂,浣嗘槸鐩稿鏉ヨ璁＄畻閲忓苟涓嶆槸鐗瑰埆澶.鑰屼笖,鍦ㄦ渶灏忎簩涔樻硶杩欎釜闂涓,鏀舵暃鎬ф湁淇濊瘉.鏁呭湪澶ф暟鎹噺鐨勬椂鍊,鍙嶈屾槸姊害涓嬮檷娉 (鍏跺疄搴旇鏄叾浠栦竴浜涙洿濂界殑杩唬鏂规硶)鏇村姞鍊煎緱琚娇鐢.褰撶劧,鍏跺疄姊害涓嬮檷娉曡繕鏈夊埆鐨勫叾浠栫敤澶,姣斿鍏朵粬鎵炬瀬鍊奸棶棰.鍙﹀,鐗涢】娉涔熸槸涓绉...
绛旓細鐗涢】娉锛氶熷害涓庣簿鍑嗙殑浜ゆ眹鐗涢】娉曟槸姊害涓嬮檷鐨勫崌绾х増锛屽畠鍊熷姪浜岄樁娉板嫆灞曞紑锛屼互鏇村揩鐨勯熷害鎺ヨ繎鐩爣銆傜浉杈冧簬涓闃剁殑姊害涓嬮檷锛岀墰椤挎硶鑰冭檻浜嗘洿澶氱殑灞閮ㄤ俊鎭紝浠夸經鍦ㄨ糠瀹腑鎵惧埌浜嗘嵎寰勩傜劧鑰岋紝杩欎唤绮剧‘鐨勪唬浠锋槸璁＄畻閲忕殑澧炲姞锛闇瑕佹眰瑙Hessian鐭╅樀鐨勯嗭紝杩欎娇寰楀畠鍦ㄥ鏉傛т笂鏄惧緱鏇翠负鑻涙眰銆傛嫙鐗涢】娉曪細杩堝悜楂樻晥鐨勬柊...
