（转）奇异值分解（SVD）和主成分分析法（PCA）
1.奇异值分解是矩阵分解的一种方法2.特征值和特征向量：Ax=λx.矩阵的乘法最后可以用特征值来代替使用，可以简化很多运算。
①A必须是n×n的方阵；
②正常对方阵进行分解
③分解形式：A = W∑W的转置
3.机器学习中大量数据集的行列不相同，即不是方阵，而是一个m×n的矩阵。SVD可以对矩阵进行分解。
①分解形式：A=UΣV的转置，其中，A是m×n的矩阵，U是m×m的矩阵，Σ是m×n的矩阵，V是n×n的矩阵。
②U称为左奇异变量，根据特征向量的求法，要求U特征向量必须是方阵，所以凑方阵,如下图所示
③V称为左奇异变量，根据特征向量的求法，要求V特征向量必须是方阵，所以凑方阵,如下图所示
④求解Σ特征值矩阵
4.矩阵的奇异值分解有什么意义？
①SVD可以用于PCA降维，来做数据压缩和去噪。也可以用于推荐算法，将用户和喜好对应的矩阵做特征分解，进而得到隐含的用户需求来做推荐。同时也可以用于NLP中的算法，比如潜在语义索引（LSI）。
5.PCA降维，需要找到样本协方差矩阵X T X的最大的d个特征向量，然后用这最大的d个特征向量张成的矩阵来做低维投影降维。当样本数多样本特征数也多的时候，这个计算量是很大的。而SVD中求解非方阵矩阵，就是要求这个值，有一些SVD的实现算法可以不求先求出协方差矩阵X T X，也能求出我们的右奇异矩阵V。也就是说，我们的PCA算法可以不用做特征分解，而是做SVD来完成。这个方法在样本量很大的时候很有效。实际上，scikit-learn的PCA算法的背后真正的实现就是用的SVD，而不是我们我们认为的暴力特征分解。
6.在处理数据集中左右奇异矩阵的作用：左奇异矩阵可以用于行数的压缩。相对的，右奇异矩阵可以用于列数即特征维度的压缩，也就是我们的PCA降维。
7.奇异值分解的优点：SVD作为一个很基本的算法，在很多机器学习算法中都有它的身影，特别是在现在的大数据时代，由于SVD可以实现并行化，因此更是大展身手。
8.奇异值分解的缺点：分解出的矩阵解释性往往不强，有点黑盒子的味道，不过这不影响它的使用.
1.概念：主成分分析（Principal components analysis，以下简称PCA）是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。一般我们提到降维最容易想到的算法就是PCA.
2.作用：PCA顾名思义，就是找出数据里最主要的方面，用数据里最主要的方面来代替原始数据。具体的，假如我们的数据集是n维的，共有m个数据(x(1),x(2),...,x(m))(x(1),x(2),...,x(m))。我们希望将这m个数据的维度从n维降到n'维，希望这m个n'维的数据集尽可能的代表原始数据集。我们知道数据从n维降到n'维肯定会有损失，但是我们希望损失尽可能的小
3.基于小于投影距离
4.基于最大投影方差
1.协方差矩阵度量了两个矩阵之间的相关性多大
2.方差度量了数据集的信息度，方差越大表示信息量越大，数据比较随机，信息熵越大；方差越小表示信息量小，数据比较统一，信息熵小；
3.特征值和特征向量求解方法：
①定义：设A是n阶矩阵，如果数λ和n维非零列向量x使得关系式Ax=λx成立，那么，这样的数λ就称为方阵A的特征值，非零向量x称为A对应于特征值λ的 特征向量 。
②对关系式进行变换：(A-λE)x=0 其中E为单位矩阵。这是n个 未知数 n个 方程 的 齐次线性方程组 ，它有非 零解 的 充要条件 是 系数行列式 为0，即|A-λE|=0。带入具体的数字或者符号，可以看出该式是以λ为未知数的一元n次方程，称为方阵A的 特征方程 ，左端 |A-λE|是λ的n次多项式，也称为方阵A的特征多项式；
参考文献
[1] 奇异值分解(SVD)原理与在降维中的应用
[2] 主成分分析（PCA）原理总结
绛旓細 6.鍦ㄥ鐞嗘暟鎹泦涓乏鍙冲寮傜煩闃电殑浣滅敤锛氬乏濂囧紓鐭╅樀鍙互鐢ㄤ簬琛屾暟鐨勫帇缂┿傜浉瀵圭殑锛屽彸濂囧紓鐭╅樀鍙互鐢ㄤ簬鍒楁暟鍗崇壒寰佺淮搴︾殑鍘嬬缉锛屼篃灏辨槸鎴戜滑鐨凱CA闄嶇淮銆 7.濂囧紓鍊煎垎瑙鐨勪紭鐐癸細SVD浣滀负涓涓緢鍩烘湰鐨勭畻娉曪紝鍦ㄥ緢澶氭満鍣ㄥ涔犵畻娉曚腑閮芥湁瀹冪殑韬奖锛岀壒鍒槸鍦ㄧ幇鍦ㄧ殑澶ф暟鎹椂浠ｏ紝鐢变簬SVD...
绛旓細SVD锛屽叏绉颁负濂囧紓鍊煎垎瑙ｏ紙Singular Value Decomposition锛夛紝鍦ㄤ紬澶氭満鍣ㄥ涔犻鍩熶腑鎵紨鐫鑷冲叧閲嶈鐨勮鑹诧紝灏ゅ叾鍦ㄩ檷缁淬佷釜鎬у寲鎺ㄨ崘鍜岃嚜鐒惰瑷澶勭悊涓彂鎸ョ潃鍗撹秺鐨勬晥鍔涖傚畠灏嗕竴涓煩闃靛垎瑙ｆ垚涓変釜鏍稿績閮ㄥ垎锛岀姽濡傛媶瑙ｄ竴涓鏉傜殑鏁板鎷煎浘锛氫竴涓浜ょ煩闃礥銆佷竴涓瑙掔煩闃礢鍜屽彟涓涓浜ょ煩闃礦T銆傝娣卞叆鎺屾彙SVD锛屽熀纭鐨勭嚎鎬...
绛旓細濂囧紓鍊煎垎瑙(SVD)鏄竴绉嶇煩闃靛洜瀛愬垎瑙ｆ柟娉曘備换鎰忎竴涓猰*n鐨勭煩闃碉紝閮藉彲浠ヨ〃绀轰负涓変釜鐭╅樀鐨勪箻绉(鍥犲瓙鍒嗚В)鐨勫舰寮忥紝鍒嗗埆鏄痬闃舵浜ょ煩闃点佺敱闄嶅簭鎺掑垪鐨勯潪璐熺殑瀵硅绾垮厓绱犵粍鎴愮殑m*n鐭╅樀鍜宯闃舵浜ょ煩闃碉紝绉颁负璇ョ煩闃电殑濂囧紓鍊煎垎瑙ｃ傜煩闃电殑濂囧紓鍊煎垎瑙ｄ竴瀹氬瓨鍦紝浣嗕笉鍞竴銆傚寮傚煎垎瑙ｅ彲浠ョ湅浣滃嚭鐭╅樀鏁版嵁鍘嬬缉鐨勪竴绉嶆柟娉...
绛旓細濂囧紓鍊煎垎瑙鍙互鐢ㄦ潵骞茶繖涓簨鎯,濂囧紓鍊煎垎瑙ｆ槸涓涓兘閫傜敤浜庝换鎰忕殑鐭╅樀鐨勪竴绉嶅垎瑙ｇ殑鏂规硶: 鍋囪A鏄竴涓狽 * M鐨勭煩闃,閭ｄ箞寰楀埌鐨刄鏄竴涓狽 * N鐨勬柟闃(閲岄潰鐨勫悜閲忔槸姝ｄ氦鐨,U閲岄潰鐨勫悜閲忕О涓哄乏濂囧紓鍚戦噺),危鏄竴涓狽 * M鐨勭煩闃(闄や簡瀵硅绾跨殑鍏冪礌閮芥槸0,瀵硅绾夸笂鐨勫厓绱犵О涓哄寮傚),V鈥(V鐨勮浆缃)鏄竴涓狽 * N鐨...
绛旓細鎻紑濂囧紓鍊煎垎瑙(SVD)鐨勭绉橀潰绾 鍦ㄦ暟鎹瀛︾殑娈垮爞涓紝濂囧紓鍊煎垎瑙ｏ紙SVD锛濡傚悓涓鎶婅В鏋勭煩闃电殑閲戦挜鍖欙紝瀹冨皢鐪嬩技澶嶆潅鐨勭煩闃典笘鐣屽垎瑙ｄ负鏄撲簬鐞嗚В鐨勬浜ょ煩闃靛拰瀵硅鐭╅樀銆傝鎴戜滑娣卞叆鎺㈢储杩欎釜寮哄ぇ鐨勫伐鍏凤紝棰嗙暐鍏跺湪缁熻瀛︿範鏂规硶鍜屾暟鎹垎鏋愪腑鐨勬棤绌烽瓍鍔涖係VD鐨勬湰璐ㄦ槸灏唌*n鐨勭煩闃礎鍒嗚В涓轰笁涓粍鎴愰儴鍒嗭細姝ｄ氦鐭╅樀U锛屽瑙...
绛旓細鐭╅樀鐨濂囧紓鍊煎垎瑙ｏ紙SVD锛鏄寚锛屽皢涓涓潪闆剁殑 瀹炵煩闃 , , 琛ㄧず涓轰笁涓疄鐭╅樀鐩镐箻鐨勫舰寮: 鍏朵腑锛 鏄 闃舵浜ょ煩闃, 鏄 闃舵浜ょ煩闃碉紝 鏄敱闄嶅簭鎺掑垪鐨勯潪璐熺殑瀵硅绾垮厓绱犵粍鎴愮殑 鐭╁舰瀵硅鐭╅樀, 婊¤冻 鎴愮О涓虹煩闃 鐨勫寮傚硷紝 鐨勫垪鍚戦噺绉颁负宸﹀寮傚悜閲忥紝 鐨勫垪鍚戦噺绉颁负...
绛旓細鍦ㄧ幇浠ｆ暟瀛︿笌宸ョ▼棰嗗煙锛岀煩闃靛垎瑙ｆ槸涓绉嶄笉鍙垨缂虹殑宸ュ叿锛屽畠濡傚悓涓涓缁村害鐨勮В鐮佸櫒锛屾彮绀轰簡鐭╅樀鐨勬湰璐ㄧ壒鎬у拰娼滃湪搴旂敤銆傚叾涓紝鐗瑰緛鍊煎垎瑙ｏ紙Eigenvalue Decomposition锛夊拰濂囧紓鍊煎垎瑙ｏ紙Singular Value Decomposition, SVD锛灏や负寮曚汉娉ㄧ洰銆傜壒寰佸煎垎瑙ｏ紝濡傚悓涓鐩忕収浜柟鍚戠殑鐏紝瀹冪殑鐩爣鏄鎵鹃偅浜涘湪鐭╅樀鍙樻崲涓嬩繚鎸...
绛旓細鍙互鐪嬪嚭锛岀煩闃礢涓诲瑙掔嚎涓婄殑鍊硷紝瀹為檯涓婃槸瀵圭О鐭╅樀AAT鎴朅TA鐗瑰緛鍊肩殑骞虫柟鏍广傛墍浠ワ紝瀹為檯涓svd鏄竴涓煩闃鍒嗚В鏂规硶锛屽浜庝换鎰忎竴涓猰脳n鐨勭煩闃礎锛宻vd閮藉彲浠ュ皢鍏跺垎瑙ｆ垚涓篈锛漊SVT銆傚叾涓煩闃礥鐨勫垪鍚戦噺鏄绉扮煩闃礎AT鐨勭壒寰佸悜閲忥紝绉颁綔宸濂囧紓鐭╅樀锛涚煩闃礦鐨勭殑鍒楀悜閲忔槸瀵圭О鐭╅樀ATA鐨勭壒寰佸悜閲忥紱S鏄竴涓猰脳n鐨勭煩闃...
绛旓細娣卞叆瑙ｆ瀽锛歋trang 绾挎т唬鏁帮紙涓冿級鈥斺斿寮傚煎垎瑙ｇ殑榄呭姏鎺㈢储 鍦ㄦ暟瀛︾殑鐟板疂涓紝濂囧紓鍊煎垎瑙ｏ紙SVD锛鐘瑰涓搴фˉ姊侊紝灏嗙煩闃典笘鐣屼腑鐨勫鏉傝繍绠楃畝鍖栦负鐩磋鐨勫嚑浣曚笌鍒嗘瀽瑙嗚銆傚畠涓嶄粎鎻ず浜嗙煩闃电殑鍐呭湪缁撴瀯锛岃繕鍦ㄤ富鎴愬垎鍒嗘瀽锛圥CA锛変腑鎵紨鐫鍏抽敭瑙掕壊銆傝鎴戜滑涓璧疯笍涓婅繖娈垫帰绱箣鏃咃紝棰嗙暐SVD鐨勯瓍鍔涖備竴銆丼VD鐨勫熀鐭充笌搴旂敤 ...
绛旓細鐭╅樀涓栫晫涓紝濂囧紓鍊煎垎瑙ｏ紙Singular Value Decomposition锛SVD锛濡傚悓涓搴фˉ姊侊紝杩炴帴鐞嗚涓庡簲鐢ㄧ殑涓ゅ哺銆傚畠鎻ず浜嗕竴涓叧閿畾鐞嗭細瀵逛簬浠讳綍瀹炵煩闃碉紝鎬昏兘鎵惧埌涓缁勭壒娈婄殑姝ｄ氦鐭╅樀\( U \)鍜孿( V \)锛屼互鍙婁竴涓潪璐熷瑙掔煩闃礬( \Sigma \)锛屼娇寰梊( A = U \Sigma V^T \)锛屽叾涓璡( \Sigma \)鐨勫瑙掑厓绱犲嵆...
