线性代数问题
某人在学 machine learning, 让我解释里面一个叫 PCA 的东西/技巧，问题是这样的：给定[公式]中[公式]个数据点，我们希望 “降低维数” 同时 “不丢失太多信息”，所以希望找[公式]个方向，沿着这些方向做了正交投影以后，数据的维数降成[公式]维——不丢失太多信息这个条件，在这个问题上指的是，希望每个点到其投影的距离之平方和（也就是[公式]）极小，从而受到的改变也最小。做法其实是现成的，所有的[公式]放在一起构成一个矩阵[公式]. [公式]是个[公式]矩阵，显然是半正定的。对它做奇异值分解，取特征值最小的[公式]个特征向量，沿着他们投影（也就是把对应于他们的分量扔掉），就得到了我们需要的投影。
有些 machine learning 的教材把这个叫做黑魔法了（参见题图，来自这里，注意那个教程里的[公式]其实是我这里的[公式]）——其实这个是挺简单的线性代数，我来试着解释解释。
第一反应是，这不就是个最小二乘法嘛：然而具体解释起来的时候发觉和最小二乘法还是有点区别，稍微转化一下的话，其实就是前面提到的那个线性代数问题。（把投影[公式]写成[公式]的形式即可）。
为啥[公式]的定义不依赖于标准正交基的选取呢?
我写的时候觉得挺显然的，但是有人不知道怎么证。其实不难，有人已经看出来了，把[公式]写成一个矩阵[公式]的话，[公式]其实就是[公式]——这里[公式]（读作 “trace”, 矩阵的迹）是方阵对角线的元素之和，也是一个方阵全部特征值之和。[公式]有个很好的特性，就是只要两个乘积[公式]和[公式]都有定义，则[公式]，现在换一组子空间的标准正交基的话无非把[公式]变成了[公式]，这里[公式]是一个[公式]的正交矩阵，所以数值是不变的。
扯淡时间
下面开始扯淡——首先[公式]是个奇怪的函数，但是这个问题的线性代数味道还是很浓的，所以如果问[公式]是个什么东西的话，从[公式]这个角度来看，可以硬说它是个定义在某个内积空间上的 “二次型”，而[公式]这整个 data, 定义了那个内积空间中的一个单位向量——关键是，它是哪个空间上的二次型，说完了这个问题就终结了：一个二次型在单位向量上的的最小值就是定义该二次型的（对称）矩阵最小的特征值。
所以，重述一下问题的关键：找一个新的线性空间，这个空间上带着内积，一组正交的单位向量[公式]对应于那个线性空间中的一个单位向量，而[公式] 是那个线性空间上的一个二次型。
说到这里聪明的人可能已经猜到是哪个线性空间了，后知后觉的可以从这个点出发去思考，比如[公式]对应于单位向量的话，[公式]按说就应该对应于一个长度为 3 的向量（因为放进二次型以后数值变成了 9 倍），[公式]应该对应于是个长度为[公式]的向量，所以这东西好像跟[公式]的行列式有点关系？[公式]中[公式]个向量的 “行列式” 该怎么定义呢？[公式]中[公式]个向量的 “行列式” 就是我们说的新的线性空间中的向量。
绛旓細鍙嗙煩闃 涓銆 鍙嗙煩闃电殑瀹氫箟鍙婃ц川 瀹氫箟 3.1 璁続 鈭圡n 锛團 锛, 鑻ュ瓨鍦ㄥ悓闃剁煩闃 B 锛屼娇AB=BA=E 锛屽垯绉癆 涓哄彲閫嗙煩闃碉紝 B 涓篈 鐨勯嗙煩闃碉紝绠绉颁负 A 鐨勯嗭紝璁颁负 B= A-1 銆傚鏋淎 鏄彲閫嗙煩闃碉紝閭ｄ箞 A 鐨勯嗘槸鍞竴鐨勩傝繖鏄洜涓哄綋 B 锛孋 閮芥槸A 鐨勯嗘椂锛屾湁 AB=BA=E=AC=CA 锛孊...
绛旓細绗竴琛-2鍊嶅姞鍒扮浜岃寰0锛-1锛宎銆傜涓琛-1鍊嶅姞鍒扮涓夎寰0锛宎-2锛-3銆傚啀灏嗗悗寰楀埌鐨勭浜岃锛坅+2锛夊嶇殑鍔犲埌鍚庡緱鍒扮殑绗笁琛岋紝寰0锛0锛宎^2+2a-3銆俛^2+2a-3涓嶇瓑浜庨浂寰梐=-3鎴朼=1
绛旓細瀵逛簬涓涓柟闃垫潵璇达紝鑻ヨ鍚戦噺绾挎鏃犲叧锛屽垯鐭╅樀鐨勭З绛変簬琛屾暟锛=鍒楁暟锛夛紝鍒欑煩闃电殑鍒楀悜閲忎篃绾挎ф棤鍏炽傚鏋滀笉鏄柟闃碉紝渚嬪A鏄3琛4鍒楃殑锛孉鐨勮鍚戦噺绾挎ф棤鍏筹紝鍒檙(A)=3<4锛屽垯A鐨勫垪鍚戦噺鏄嚎鎬х浉鍏崇殑銆
绛旓細璇︽儏濡傚浘鎵绀 鏈変换浣曠枒鎯戯紝娆㈣繋杩介棶
绛旓細瑙ｏ細鐢卞凡鐭ュ緱 a0-a1+a2-a3=0 鈶 a0+a1+a2+a3=4 鈶 a0+2a1+4a2+8a3=3 鈶 a0+3a1+9a2+27a3=16 鈶 (鈶+鈶)梅2锛屽緱 a0+a2=2锛屾晠a2=2-a0 鈶 (鈶-鈶)梅2锛屽緱 a1+a3=2锛屾晠a3=2-a1 鈶 鎶娾懁,鈶ヤ唬鍏モ憿骞舵暣鐞嗭紝寰 a0+2a1=7 鈶 鎶娾懁,鈶ヤ唬鍏モ懀骞舵暣鐞嗭紝寰 ...
绛旓細鐭╅樀A涓嶣鐩镐箻锛岀敤A鐨勮锛屼笌B鐨勫垪锛屽悇鍏冪礌涓涓瀵瑰簲鐩镐箻锛岀劧鍚庢妸涔樼Н姹傚拰锛屽嵆鍙緱鍑虹煩闃礎B鐨勪竴涓厓绱犮備緥濡傦細鐢ˋ鐨勭i琛岋紝涓嶣鐨勭j鍒楋紝鍚勫厓绱犱竴涓瀵瑰簲鐩镐箻锛岀劧鍚庢妸涔樼Н姹傚拰锛屽嵆鍙緱鍑虹煩闃礎B鐨勭i琛岋紝绗琷鍒楃殑鍏冪礌
绛旓細杩愮敤鐭╅樀鐨勪箻娉曡繍绠楄鍒欙紝鐭╅樀B鏄1x3鐭╅樀锛岀煩闃礎鏄3x2鐭╅樀锛屽洜姝ょ煩闃礏A鏄1x2鐭╅樀锛屼袱涓煩闃典箻娉曠粨鏋滅殑姹傝В杩囩▼濡備笅鍥炬墍绀猴細
绛旓細杩樻湁鍙兘鏄棤瑙ｃ傚垽鏂柟绋嬬粍Ax=B鐨勮В鏃讹紝褰撲笖浠呭綋r(A)=r(A,B)锛渘锛坣鏄湭鐭ラ噺涓暟锛夋椂锛屾柟绋嬬粍鏈夋棤绌峰瑙ｃ傝繖閲屽緱鍑簉(A)锛渘涓攔(A,B)锛渘鏄病闂鐨勶紝浣嗘槸r(A)=r(A,B)涓嶈兘淇濊瘉鍟娿俽(A)鈮爎(A,B)鏃讹紝鏂圭▼缁勬棤瑙ｃ傛墍浠ユ纭殑缁撹鏄細鑻绾挎鏂圭▼缁凙X= B涓紝鏂圭▼鐨勪釜鏁板皬浜庢湭鐭ラ噺...
绛旓細娉ㄦ剰锛4锛3锛-5锛1鏄愮浜岃銆戠殑鍏冪礌锛孉11锛孉12锛孉13锛孉14鏄愮涓琛屻戝厓绱犵殑浣欏瓙寮忋傛晠瀹冧滑鐨勪箻绉拰绛変簬0 杩欐槸涓畾鐞嗐傝岀n琛屽厓绱犱笌绗琻琛屽厓绱犵殑浠ｆ暟浣欏瓙寮忕殑涔樼Н涔嬪拰鎵嶇瓑浜庤鍒楀紡鐨勫笺
绛旓細瑙: 绾挎琛ㄧず闂绛変环浜庢柟绋嬬粍瑙ｇ殑瀛樺湪鎬ч棶棰 绯绘暟琛屽垪寮 |A| = 1+位 1 1 1 1+位 1 1 1 1+位 = c1+c2+c3 3+位 1 1 3+位 1+位 1 3+位 1 1+位 r2-r1,r3-r1 3+位 1 1 0 位 0 0 0 位 = (3+位)位^2.褰搢A|鈮0, 鍗澄烩墵0涓斘烩墵-...
