如何理解矩阵的奇异值分解？
先标记每行的第一个非0数，除去这些所标记的数所在的列，其它列即为所求自由变量。
最小化问题的转化。求min z等价于求max(-z)，因此，只需改变目标函数的符号就可以实现最大化和最小化之间的转换。
不等式约束的处理。不等式约束可以通过引入松弛变量或剩余变量转化为等式约束。
线性代数重要定理
每一个线性空间都有一个基。
对一个 n 行 n 列的非零矩阵 A，如果存在一个矩阵 B 使 AB = BA =E（E是单位矩阵），则 A 为非奇异矩阵（或称可逆矩阵），B为A的逆阵。
矩阵非奇异（可逆）当且仅当它的行列式不为零。
矩阵非奇异当且仅当它代表的线性变换是个自同构。
矩阵半正定当且仅当它的每个特征值大于或等于零。
矩阵正定当且仅当它的每个特征值都大于零。
解线性方程组的克拉默法则。
判断线性方程组有无非零实根的增广矩阵和系数矩阵的关系。
绛旓細濂囧紓鍊煎垎瑙ｆ槸绾挎т唬鏁颁腑涓绉嶉噸瑕佺殑鐭╅樀鍒嗚В锛屽湪淇″彿澶勭悊銆佺粺璁″绛夐鍩熸湁閲嶈搴旂敤銆傚畾涔夛細璁続涓簃*n闃剁煩闃碉紝鐨刵涓壒寰佸肩殑闈炶礋骞虫柟鏍瑰彨浣淎鐨勫寮傚笺傝涓恒(A)锛屽垯HA)^(1/2)銆傚畾鐞:锛堝寮傚煎垎瑙ｏ級璁続涓簃*n闃跺鐭╅樀锛屽垯瀛樺湪m闃堕厜闃礥鍜宯闃堕厜闃礦锛屼娇寰:A = U*S*V鈥欏叾涓璖=diag(蟽i,蟽...
绛旓細杩欎笢瑗垮彨鏋鍒嗚В銆傞渶瑕佸厛璇佷竴涓紩鐞嗭細浠讳綍涓涓疄鏂归樀A锛岄兘瀛樺湪姝ｄ氦鏂归樀P,Q浣垮緱PAQ=diag(a1,a2,...,ar,0,0...,0)锛屽叾涓璦i閮芥槸姝ｅ疄鏁 鏈夎繖涓紩鐞嗐傞涓墍缁欑殑鏄彲閫鐭╅樀锛岃杩欎釜鍙嗙煩闃靛彨鍋欱锛岄偅涔堢敱浜嶱,Q閮芥槸姝ｄ氦鐭╅樀锛屾槸鍙嗙殑锛屾墍浠BQ閫嗙殑銆傜敱寮曠悊锛屽簲璇ュ瓨鍦ㄦ浜ゆ柟闃礟,Q浣垮緱PBQ=diag(a...
绛旓細(2)濂囧紓鍊煎垎瑙锛圫ingular value decomposition锛夊寮傚煎垎瑙ｉ潪甯告湁鐢紝瀵逛簬鐭╅樀A(p*q)锛屽瓨鍦║(p*p)锛孷(q*q)锛孊(p*q)锛堢敱瀵硅闃典笌澧炲箍琛屾垨鍒楃粍鎴愶級锛屾弧瓒矨 = U*B*V U鍜孷涓垎鍒槸A鐨勫寮傚悜閲忥紝鑰孊鏄疉鐨 濂囧紓鍊銆侫A'鐨 鐗瑰緛鍚戦噺缁勬垚U锛岀壒寰佸肩粍鎴怋'B锛孉'A鐨勭壒寰佸悜閲忕粍鎴怴锛岀壒寰佸硷紙涓...
绛旓細棣栧厛锛屾垜浠洖椤句竴涓嬬壒寰鍊煎垎瑙鐨勫嚑浣曡В璇汇傛兂璞′竴涓嬶紝鏁版嵁鐭╅樀灏卞儚涓涓潗鏍囩郴涓殑澶氱淮鍥惧舰锛岀壒寰佸煎垎瑙ｅ垯鏄皢杩欎釜鍥惧舰鏃嬭浆鍒颁竴涓柊鐨勫潗鏍囩郴锛屼娇寰楃淮搴﹀噺灏戯紝鑰屼繚鎸佸叧閿俊鎭笉涓㈠け銆傜壒寰佸煎氨鍍忓浘褰㈢殑鈥滀几缂╁洜瀛愨濓紝鐗瑰緛鍚戦噺鍒欐槸鏂板潗鏍囩郴鐨勫熀鍚戦噺銆傚綋鎴戜滑浠庡崗鏂瑰樊鐭╅樀鐨瑙掑害鐞嗚ВSVD鏃讹紝鍏跺疄璐ㄦ槸瀵瑰師濮嬫暟鎹煩...
绛旓細鍏舵锛濂囧紓鍊煎垎瑙ｆ槸灏嗕竴涓柟闃佃〃绀轰负涓変釜鐭╅樀鐨勪箻绉紝鍏朵腑鍓嶄袱涓煩闃垫槸姝ｄ氦鐭╅樀锛岀涓変釜鐭╅樀鏄瑙掔煩闃銆傚寮傚煎垎瑙ｅ湪淇″彿澶勭悊鍜屾暟鎹帇缂╃瓑棰嗗煙鏈夊箍娉涚殑搴旂敤銆傞氳繃濂囧紓鍊煎垎瑙ｏ紝鎴戜滑鍙互灏嗕竴涓鏉傜殑鐭╅樀杞寲涓哄涓畝鍗曠殑鐭╅樀鐨勪箻绉紝浠庤岄檷浣庝簡璁＄畻澶嶆潅搴︺傛渶鍚庯紝LU鍒嗚В鏄皢涓涓柟闃佃〃绀轰负涓涓笅涓夎鐭╅樀鍜...
绛旓細濂囧紓鍊煎垎瑙鐨勭洿瑙鐞嗚В涓庡簲鐢 瀵逛簬鐭╅樀M锛屽叾m脳n闃讹紝鎵鏈夊厓绱犲湪瀹炴暟鎴栧鏁板煙K锛屽寮傚煎垎瑙(M = U危V*)鎻ず浜鐭╅樀鐨閲嶈缁撴瀯銆傚垎瑙ｆ瀯鎴 U锛歮脳m鐨勯厜鐭╅樀锛屽叾琛屽悜閲忔瀯鎴愬M鐨勬浜ゅ垎鏋愬熀锛屾槸M鐨凪*鐨勭壒寰佸悜閲忋偽ｏ細m脳n鐨勫崐姝ｅ畾瀵硅鐭╅樀锛屽瑙掔嚎鍏冪礌鍗冲寮傚硷紝鎺у埗杈撳叆涓庤緭鍑洪棿鐨勬爣閲忚啫鑳銆俈锛歯脳...
绛旓細M = U危V*锛屽叾涓璘鏄痬脳m闃堕厜鐭╅樀锛浳ｆ槸鍗婃瀹歮脳n闃跺瑙掔煩闃碉紱鑰孷*锛屽嵆V鐨勫叡杞浆缃紝鏄痭脳n闃堕厜鐭╅樀銆傝繖鏍风殑鍒嗚В灏辩О浣淢鐨勫寮傚煎垎瑙銆偽ｅ瑙掔嚎涓婄殑鍏冪礌危i,i鍗充负M鐨勫寮傚笺傚父瑙佺殑鍋氭硶鏄负浜嗗寮傚肩敱澶ц屽皬鎺掑垪銆傚姝のｄ究鑳界敱M鍞竴纭畾浜嗐(铏界劧U鍜孷浠嶇劧涓嶈兘纭畾銆)鐩磋鐨瑙ｉ噴[2]鍦...
绛旓細濂囧紓鍊兼槸鐭╅樀閲岀殑姒傚康锛屼竴鑸氳繃濂囧紓鍊煎垎瑙瀹氱悊姹傚緱銆傚寮傚煎垎瑙ｆ槸绾挎т唬鏁板拰鐭╅樀璁轰腑涓绉嶉噸瑕佺殑鐭╅樀鍒嗚В娉曪紝閫傜敤浜庝俊鍙峰鐞嗗拰缁熻瀛︾瓑棰嗗煙銆濂囧紓鐭╅樀鏄嚎鎬т唬鏁扮殑姒傚康锛屽氨鏄鐭╅樀鐨绉╀笉鏄弧绉┿傞鍏堬紝鐪嬭繖涓煩闃垫槸涓嶆槸鏂归樀锛堝嵆琛屾暟鍜屽垪鏁扮浉绛夌殑鐭╅樀銆傝嫢琛屾暟鍜屽垪鏁颁笉鐩哥瓑锛岄偅灏辫皥涓嶄笂濂囧紓鐭╅樀鍜岄潪...
绛旓細鍥炵瓟锛氭垜浠ュ墠鐪嬭繃鍚村啗鐨勬暟瀛︿箣缇,鐜板湪璁╂垜浠潵鐪嬬湅濂囧紓鍊煎垎瑙鏄鎬庝箞鍥炰簨銆 棣栧厛,鎴戜滑鍙互鐢ㄤ竴涓ぇ鐭╅樀A鏉ユ弿杩拌繖涓鐧句竾绡囨枃绔犲拰浜斿崄涓囪瘝鐨勫叧鑱旀с傝繖涓煩闃典腑,姣忎竴琛屽搴斾竴绡囨枃绔,姣忎竴鍒楀搴斾竴涓瘝銆 鍦ㄤ笂闈㈢殑鍥句腑,M=1,000,000,N=500,000銆傜i琛,绗琷鍒楃殑鍏冪礌,鏄瓧鍏镐腑绗琷涓瘝鍦ㄧi绡囨枃绔犱腑鍑...
绛旓細濂囧紓鍊煎垎瑙ｅ彲浠ョ湅浣滃嚭鐭╅樀鏁版嵁鍘嬬缉鐨勪竴绉嶆柟娉曘傚嵆鐢ㄥ洜瀛愬垎瑙ｇ殑鏂瑰紡杩戜技鍦拌〃绀哄師濮嬬煩闃碉紝杩欑鐭╅樀鍦ㄥ钩鏂规崯澶辨剰涔変笅鐨勬渶浼樿繎浼笺鐭╅樀鐨勫寮傚煎垎瑙鏄寚锛屽皢涓涓潪闆剁殑m*n瀹炵煩闃 锛岃〃绀轰负浠ヤ笅涓変釜瀹炵煩闃典箻绉舰寮忕殑杩愮畻锛屽嵆杩涜鐭╅樀鐨勫洜瀛愬垎瑙 鍏朵腑U鏄痬闃舵浜ょ煩闃碉紝V鏄痭闃舵浜ょ煩闃碉紝 鏄敱闄嶅簭鎺掑垪鐨勯潪璐...
