矩阵分解的奇异值分解法 矩阵奇异值分解手工算法
\u4ec0\u4e48\u662f\u77e9\u9635\u7684\u5947\u5f02\u503c\u5206\u89e3?奇异值分解 (singular value decomposition,SVD) 是另一种正交矩阵分解法；SVD是最可靠的分解法，但是它比QR 分解法要花上近十倍的计算时间。[U,S,V]=svd(A)，其中U和V分别代表两个正交矩阵，而S代表一对角矩阵。 和QR分解法相同， 原矩阵A不必为正方矩阵。使用SVD分解法的用途是解最小平方误差法和数据压缩。
MATLAB以svd函数来执行svd分解法， 其语法为[S,V,D]=svd(A)。
奇异值分解有幂迭代法，QR算法，子空间方法等等。其中幂迭代法用于求最大的奇异值及奇异向量。QR算法是幂迭代算法的并行版本，也是最基本最稳定的算法。其他很多算法都通过各种变换，比如household变换，lanczos变换等等，将矩阵化为海森伯格阵，然后用QR算法求解。此外还有子空间方法，这个方法特别适用于求解大型稀疏矩阵的最大的几个奇异值及奇异向量。
推荐一个blog，详细讲解奇异值分解的lanczos算法，QR算法，分治算法，和MRRR算法，这些都是当下最快的算法。并提供C++源码
http://www.cnblogs.com/qxred/p/lanczos.html
http://www.cnblogs.com/qxred/p/qralgorithm.html
http://www.cnblogs.com/qxred/p/dcalgorithm.html
绛旓細鍦ㄦ満鍣ㄥ涔犱腑锛屽己澶х殑鐭╅樀濂囧紓鍊煎垎瑙(SVD)涓庣壒寰佸煎垎瑙ｅ瘑鍒囩浉鍏筹紝瀹冧滑鐨勭洰鏍囬兘鏄彮绀鐭╅樀鐨鍏抽敭鐗瑰緛銆係VD灏ゅ叾鍦ㄥ鐞嗛潪鏂归樀鐭╅樀鏃跺彂鎸ュ叧閿綔鐢紝杩欐槸鐗瑰緛鍊煎垎瑙ｉ毦浠ヨ鐩栫殑棰嗗煙銆係VD鐨勬牳蹇冨湪浜庡垎瑙ｄ换浣曠煩闃礎涓轰笁涓粍鎴愰儴鍒嗭細U锛堝乏濂囧紓鍚戦噺鏋勬垚鐨刴*m鏂归樀锛夛紝危锛堝瑙掗樀锛屽寘鍚寮傚硷級锛孷^T锛堝彸濂囧紓鍚戦噺杞疆...
绛旓細瀵逛竴涓 n 琛 n 鍒楃殑闈為浂鐭╅樀 A锛屽鏋滃瓨鍦ㄤ竴涓煩闃 B 浣 AB = BA =E锛圗鏄崟浣嶇煩闃碉級锛屽垯 A 涓洪潪濂囧紓鐭╅樀锛堟垨绉板彲閫嗙煩闃碉級锛孊涓篈鐨勯嗛樀銆傜煩闃甸潪濂囧紓锛堝彲閫嗭級褰撲笖浠呭綋瀹冪殑琛屽垪寮忎笉涓洪浂銆傜煩闃甸潪濂囧紓褰撲笖浠呭綋瀹冧唬琛ㄧ殑绾挎у彉鎹㈡槸涓嚜鍚屾瀯銆傜煩闃靛崐姝ｅ畾褰撲笖浠呭綋瀹冪殑姣忎釜鐗瑰緛鍊煎ぇ浜庢垨绛変簬闆躲傜煩...
绛旓細鏁板寮鑺: 浠庡绉睍寮鐨勮搴︾湅锛濂囧紓鍊煎垎瑙灞曠幇鍑哄疄瀵圭О鐭╅樀鐨勭壒寰佸悜閲忓彲浠ヤ紭闆呭湴浠ュ寮傚肩殑褰㈠紡琛ㄨ揪锛岃屼竴鑸煩闃电殑鐗规у悓鏍蜂綋鐜板湪鍏跺寮傚肩殑鍒嗚В涔嬩腑锛岃繖涓烘繁鍏ョ悊瑙ｅ鏉傜郴缁熸彁渚涗簡绐楀彛銆傚浘鍍忎笘鐣: 鍦ㄥ浘鍍忓鐞嗕腑锛屽寮傚煎垎瑙ｅ挨涓哄叧閿傞氳繃鍒嗘瀽鍥惧儚鐭╅樀鐨勫寮傚锛屾垜浠彂鐜板ぇ閮ㄥ垎淇℃伅闅愯棌鍦ㄥ墠鍑犱釜杈冨ぇ鐨勫寮...
绛旓細鐭╅樀鍒嗚В鏄皢涓涓煩闃垫媶瑙ｄ负鏁颁釜鐭╅樀鐨勪箻绉紝鍙垎涓轰笁瑙掑垎瑙ｃ佹弧绉╁垎瑙ｃ丵R鍒嗚В銆丣ordan鍒嗚В鍜SVD锛濂囧紓鍊锛夊垎瑙ｇ瓑锛屽父瑙佺殑鏈変笁绉嶏細1)涓夎鍒嗚В娉 (Triangular Factorization)锛2)婊＄З鍒嗚В (Full-rank Decomposition)锛3)QR 鍒嗚В娉 (QR Factorization)銆備笁瑙掑垎瑙ｆ硶 灏嗙煩闃靛垎瑙ｄ负涓涓笅涓夎鐭╅樀鍜屼竴涓笂...
绛旓細鐢变簬 婊¤冻鐭╅樀浜ゆ崲涔樼Н锛屾湁 锛屼笖 銆傛垜浠彲浠ヨ 鐨勭壒寰佸间负 锛岃 鐨勭壒寰佸间负 锛屼笖涓嶄负0鐨勭壒寰佸间釜鏁扮浉绛夈傚洜姝わ紝鏈 鐭╅樀鍗婃瀹氾紝鐗瑰緛鍊奸潪璐燂紝鍙互寮鏍瑰彿銆傜壒寰佸间粠鍙充笂瑙掑紑濮嬪啓锛岀洿鍒板啓鍒版渶鍚庝竴涓潪闆剁壒寰佸笺傚叾浣欏厓绱犲潎涓0銆傚垰鎵嶆彁鍙婄殑鏄鐭╅樀鐨勫寮傚煎垎瑙ｇ殑鏂规硶锛岀幇鍦ㄦ垜浠垵姝ョ湅涓涓...
绛旓細瀵逛簬鐭╅樀M锛屽叾m脳n闃讹紝鎵鏈夊厓绱犲湪瀹炴暟鎴栧鏁板煙K锛濂囧紓鍊煎垎瑙(M = U危V*)鎻ず浜鐭╅樀鐨閲嶈缁撴瀯銆傚垎瑙ｆ瀯鎴 U锛歮脳m鐨勯厜鐭╅樀锛屽叾琛屽悜閲忔瀯鎴愬M鐨勬浜ゅ垎鏋愬熀锛屾槸M鐨凪*鐨勭壒寰佸悜閲忋偽ｏ細m脳n鐨勫崐姝ｅ畾瀵硅鐭╅樀锛屽瑙掔嚎鍏冪礌鍗冲寮傚硷紝鎺у埗杈撳叆涓庤緭鍑洪棿鐨勬爣閲忚啫鑳銆俈锛歯脳n鐨勯厜鐭╅樀锛屽叾鍒楀悜閲忎负杈撳嚭...
绛旓細鍦ㄧ煩闃电悊璁轰腑锛屽寮傚煎垎瑙ｅ拰骞夸箟閫嗙煩闃垫壆婕旂潃鍏抽敭瑙掕壊銆傚疄鏁版垨澶嶆暟鐭╅樀鐨勫寮傚煎垎瑙鎻ず浜嗙煩闃电殑鍐呭湪缁撴瀯锛屼换浣昜鍏紡]闃剁煩闃礫鍏紡]鍙互鍒嗚В涓篬鍏紡]锛屽叾涓璠鍏紡]鏄浜わ紙鎴栧购姝ｏ級鐭╅樀锛孾鍏紡]鏄浜わ紙鎴栫疆鎹㈠鍏辫江锛夌煩闃碉紝鑰孾鍏紡]鐢遍潪闆舵鏁版瀯鎴愮殑涓婁笁瑙掔煩闃点傝繖绉嶅垎瑙ｅ浜庢繁鍏ョ悊瑙ｇ煩闃佃繍绠楀強鍏舵ц川鑷冲叧...
绛旓細鐢ㄦ埛鍚戦噺浠ｈ〃浜嗙敤鎴风殑鍏磋叮锛岀墿鍝佸悜閲忎唬琛ㄤ簡鐗╁搧鐨勭壒鐐癸紝涓旀瘡涓涓淮搴︾浉浜掑搴旓紝涓や釜鍚戦噺鐨勫唴绉〃绀虹敤鎴峰璇ョ墿鍝佺殑鍠滃ソ绋嬪害銆係VD 鍏ㄧ▼濂囧紓鍊煎垎瑙ｏ紝鍘熸湰鏄槸绾挎т唬鏁颁腑鐨勪竴涓煡璇嗭紝鍦ㄦ帹鑽愮畻娉曚腑鐢ㄥ埌鐨 SVD 骞堕潪姝ｇ粺鐨勫寮傚煎垎瑙銆傚墠闈㈠凡缁忕煡閬撻氳繃鐭╅樀鍒嗚В锛屽彲浠ュ緱鍒扮敤鎴风煩闃靛拰鐗╁搧鐭╅樀銆傞拡瀵规瘡涓敤鎴峰拰鐗╁搧锛...
绛旓細濂囧紓鍊煎垎瑙ｆ垜鍐欒繃涓涓畝鐭殑鐞嗚В锛岃褰曚簬 https://www.jianshu.com/p/8c7dac32620f 锛 杩欐鍙堝啓涓閬嶅畬鍏ㄦ槸鍥犱负銆婄粺璁″涔鏂规硶銆鐨勫寮傚煎垎瑙璁插緱澶缁嗕簡锛屽崰浜25椤电殑绡囧箙锛屼笖澶ц嚧缈荤湅鍚庨潰绔犺妭鍚庡彂鐜板寮傚鍒嗚В鐨搴旂敤寰堝锛屽洜姝ゅ喅瀹氬濂囧紓鍊煎垎瑙ｅ啀閲嶆柊瀛︿範涓閬嶃備换鎰忎竴涓 鐭╅樀锛岄兘鍙互琛ㄧず涓轰笁...
绛旓細鐗瑰緛鍚戦噺杩涜鍗曚綅鍖栵紝寰楀埌 1/鈭10 -3/鈭10 3/鈭10 1/鈭10 涓嬮潰姹傚嚭ATA= 10 20 20 40 鐗瑰緛鍚戦噺鏄細鐗瑰緛鍚戦噺杩涜鍗曚綅鍖栵紝寰楀埌 1鈭5 -2/鈭5 2/鈭5 1/鈭5 鍥犳寰楀埌SVD鍒嗚В A= 1/鈭10 -3/鈭10 3/鈭10 1/鈭10 脳 5鈭2 0 0 0 脳 1鈭5 2/鈭5 -2/鈭5 1/鈭5 ...
