十折交叉验证
交叉验证主要分成以下几类：
1）k-folder cross-validation: k个子集，每个子集均做一次测试集，其余的作为训练集。交叉验证重复k次，每次选择一个子集作为测试集，并将k次的平均交叉验证识别正确率作为结果。优点：所有的样本都被作为了训练集和测试集，每个样本都被验证一次。10-folder通常被使用。
2）K * 2 folder cross-validation 是k-folder cross-validation的一个变体，对每一个folder，都平均分成两个集合s0,s1，我们先在集合s0训练用s1测试，然后用s1训练s0测试。优点是：测试和训练集都足够大，每一个个样本都被作为训练集和测试集。一般使用k=10
3)least-one-out cross-validation(loocv) 假设dataset中有n个样本，那LOOCV也就是n-CV，意思是每个样本单独作为一次测试集，剩余n-1个样本则做为训练集。
优点：
1）每一回合中几乎所有的样本皆用于训练model，因此最接近母体样本的分布，估测所得的generalization error比较可靠。
2）实验过程中没有随机因素会影响实验数据，确保实验过程是可以被复制的。但LOOCV的缺点则是计算成本高，为需要建立的models数量与总样本数量相同，当总样本数量相当多时，LOOCV在实作上便有困难，除非每次训练model的速度很快，或是可以用平行化计算减少计算所需的时间。
-------十折交叉验证：10-fold cross validation-------
英文名叫做10-fold cross-validation，用来测试算法准确性。是常用的测试方法。将数据集分成十分，轮流将其中9份作为训练数据，1份作为测试数据，进行试验。每次试验都会得出相应的正确率（或差错率）。10次的结果的正确率（或差错率）的平均值作为对算法精度的估计，一般还需要进行多次10折交叉验证（例如10次10折交叉验证），再求其均值，作为对算法准确性的估计。
之所以选择将数据集分为10份，是因为通过利用大量数据集、使用不同学习技术进行的大量试验，表明10折是获得最好误差估计的恰当选择，而且也有一些理论根据可以证明这一点。但这并非最终诊断，争议仍然存在。而且似乎5折或者20折与10折所得出的结果也相差无几。
绛旓細渚嬪锛屽湪鏈哄櫒瀛︿範涓紝鏈変竴绉嶈绉颁负鈥鍗佹姌浜ゅ弶楠岃瘉鈥濈殑鏂规硶銆傝繖绉嶆柟娉曞皢鏁版嵁闆嗗垎鎴 10 浠斤紝闅忔満閫夊彇鍏朵腑 9 浠戒綔涓鸿缁冩暟鎹紝鍙﹀涓浠戒綔涓烘祴璇曟暟鎹傝繖涓繃绋嬩細閲嶅 10 娆★紝姣忔浣跨敤涓嶅悓鐨勮缁冩暟鎹拰娴嬭瘯鏁版嵁锛岃绠楀嚭鏈缁堟潈閲嶅拰璇勪及鎸囨爣銆傛渶缁堢殑缁撴灉灏辨槸灏 10 娆＄殑璇勪及鎸囨爣骞冲潎鍚庡緱鍒扮殑缁撴灉锛岃岃繖涓柟娉...
绛旓細1.闇瑕佹敞鎰忕殑鏄,浜ゅ弶楠岃瘉鍙槸瀵硅缁冮泦鐨勮繘涓姝ユ湁鏁堝埄鐢,鏈缁堣繕鏄閫氳繃鏈娇鐢ㄨ繃鐨勬暟鎹(鍗曠嫭鍒掑垎鍑烘祴璇曢泦)鏉ユ楠屽畠鐨勬硾鍖栬兘鍔; 2.鎴戜滑棣栧厛瑕佸湪鏍锋湰闆嗕笂鐣欏嚭涓鐩翠笉鍙樼殑娴嬭瘯闆,鐒跺悗灏嗗墿浣欓儴鍒嗕綔涓哄ぇ娴嬭瘯闆,鐒跺悗鍦ㄨ鐨勬祴璇曢泦涓婂仛K鎶樹氦鍙夐獙璇; 3.褰撹缁冮泦鏍锋湰鍙湁鍑犲崄銆佸嚑鐧炬垨鍑犲崈鏃,鏈濂界敤浜ゅ弶楠岃瘉鏉ヤ繚璇佸埄鐢ㄥ敖閲...
绛旓細浜ゅ弶楠岃瘉娉曢鍏堝皢鏈塵涓牱鏈殑鏁版嵁闆咲鍒掑垎涓簁涓ぇ灏忕浉浼肩殑浜掓枼瀛愰泦,涓斿潎淇濇寔鏁版嵁鏍囩鐨勫潎鍖鍒嗗竷銆傛瘡娆″埄鐢╧-1涓瓙闆嗚繘琛岃缁,鍓╀笅鐨1涓敤浜庢祴璇,濡傛灏濊瘯鏈塳绉,鎴戜滑鏈缁堣繑鍥瀔涓粨鏋滅殑鍧囧笺傜畻娉曢獙璇佺殑濂藉潖涓昏鍙栧喅浜巏鐨勫彇鍊,閫氬父鍙杒=10,鎵浠ョ畻娉曞張绉颁负鈥鍗佹姌浜ゅ弶楠岃瘉鈥,鍏剁ず鎰忓浘濡備笅銆傜浉姣旂暀鍑烘硶,浜ゅ弶楠岃瘉鏄剧劧鏇...
绛旓細2銆丷璇█: R璇█閫昏緫鍥炲綊銆丷OC鏇茬嚎鍜鍗佹姌浜ゅ弶楠岃瘉 ROC鏇茬嚎鍩轰簬R璇█-(pROC鍖) R璇█pROC鍖呯粯鍒禦OC鏇茬嚎 3銆丳ython: 鏈哄櫒瀛︿範鍩虹(1)- ROC鏇茬嚎鐞嗚В ROC鍘熺悊浠嬬粛鍙婂埄鐢╬ython瀹炵幇浜屽垎绫诲拰澶氬垎绫荤殑ROC鏇茬嚎 4銆丮atlab: Matlab缁樺浘鈥斺擱OC鏇茬嚎缁樺埗(瀹樻柟demo) ROC鏇茬嚎璇﹁В鍙妋atlab缁樺浘瀹炰緥 ROC鏇茬嚎鐨勫垵姝ュ涔...
绛旓細闅忔満妫灄鏄痓agging鐨勪竴绉嶅疄鐜帮紝杩欑闆嗘垚鏂规硶鍙互杩涜鍖呭浼拌骞惰緭鍑哄寘澶栬宸傚寘澶栬宸嵆鍙湅鍋氭硾鍖栬宸殑鏃犲亸浼拌锛屽洜姝ら殢鏈烘．鏋楃畻娉曞湪瀹炵幇杩囩▼涓彲鏄渷鎺楠岃瘉闆嗭紝鐩存帴鐢ㄥ寘澶栬宸及璁℃硾鍖栬宸
绛旓細绗笁灏辨槸k鍊煎ぇ灏忕殑閫夋嫨娌℃湁鐞嗚閫夋嫨鏈浼橈紝寰寰鏄粨鍚圞-鎶樹氦鍙夐獙璇寰楀埌鏈浼榢鍊奸夋嫨銆傜鍥涘氨鏄牱鏈笉骞宠 闂锛堝嵆鏈変簺绫诲埆鐨勬牱鏈暟閲忓緢澶氾紝鑰屽叾瀹冩牱鏈殑鏁伴噺寰堝皯锛夋晥鏋滃樊銆傜浜斿氨鏄渶瑕佸ぇ閲忓唴瀛樸傜鍏氨鏄浜庢牱鏈閲忓ぇ鐨勬暟鎹泦璁＄畻閲忔瘮杈冨ぇ銆傛鏄敱浜庤繖浜涗紭鐐瑰拰缂虹偣锛孠NN绠楁硶搴旂敤棰嗗煙姣旇緝骞挎硾锛屽湪鏂囨湰...
绛旓細鑿滈笩绉,鍦ㄤ簨浠跺彂鐢熷墠,鈥滆彍楦熷鍏ㄧ綉鐗╂祦鏁版嵁杩涜浜嗕俊鎭畨鍏ㄥ崌绾,鍔犲己瀵规捣娣樸佸揩閫掓煖绛夌墿娴佹暟鎹殑澶氶噸浜ゅ弶楠岃瘉鈥,瑕佹眰椤轰赴鎻愪氦鎵鏈夌墿娴佹暟鎹(鍖呮嫭闈炴窐绯昏鍗),椤轰赴鈥滃嚭浜庡悇绉嶅師鍥犲苟涓嶉厤鍚堚濄傚敖绠¤彍楦熷悗鏉ュ張鍚﹁鏇剧粡瑕佹眰椤轰赴鎻愪緵闈炴窐绯荤墿娴佹暟鎹,浣嗚繖涓庤彍楦熶箣鍓嶅０绉拌鈥滃閲嶄氦鍙夐獙璇佲濅技涔庝笉鍚诲悎銆 鑿滈笩涓轰粈涔堣鍜岄『涓拌捣...
绛旓細鍦ㄦ鍩虹涓婏紝瀵归殧绂绘湡婊¤荡浜汉鍛樺啀澧炲姞7澶╅泦涓殧绂诲尰瀛﹁瀵燂紝鍏朵腑鍦ㄩ殧绂荤14澶╁拰绗21澶╁垎鍒噰榧诲捊鎷瓙銆佺勃渚挎爣鏈拰鐜鏍囨湰锛屽苟鐢变袱瀹舵娴嬫満鏋勫钩琛屾娴嬨浜ゅ弶楠岃瘉锛屽疄鐜扳滀笁鏍囨湰鈥濋槾鎬ф墠鑳借荡浜紱瀵归殧绂绘湡婊＄暀鏅嬩汉鍛橈紝瀹炶鈥14+2鈥濆眳瀹堕殧绂诲尰瀛﹁瀵熸帾鏂(灞呭闅旂14澶╋紝鏍搁吀妫娴2娆)锛岀‘淇濅粠鑸遍棬鍒伴殧绂荤偣鍒...
绛旓細鏍规嵁闀垮煄姹借溅鐨勪妇鎶ュ唴瀹逛互鍙婃煇鐭ュ悕姹借溅骞冲彴鐨勬媶杞︾粨鏋,浜掍负浜ゅ弶楠岃瘉,鍙互纭姣斾簹杩涓炬姤鐨勭浉鍏宠溅鍨嬫惌杞界殑纭负甯稿帇娌圭,浣嗘槸鍚︽惌杞界浉鍏充笓鍒╂妧鏈互婊¤冻鍥藉娉曡浠嶄笉寰楄岀煡銆 鍙︿竴绉嶈娉,姣斾簹杩兘澶熼氳繃杞欢鎺у埗鍙戝姩鏈洪傛椂娓呯悊鎺夎繃鍓╃殑鎸ュ彂姘斾綋銆備簨瀹炰笂,姣斾簹杩洰鍓嶄篃姝ｆ槸杩欎箞鍋氱殑銆傛瘮浜氳开姹塂M-i鍐犲啗鐗堢殑鍙戝姩鏈轰繚鍏婚』鐭ュ氨鏄剧ず...
绛旓細绗洓,椋庨櫓鎺у埗鍜屼笟鍔¤繃绋嬪崗鍚:浠ヨ祫閲戞敮浠樹负渚,閫氳繃绯荤粺鐨浜ゅ弶楠岃瘉鍜屾巿鏉,淇濋殰璧勯噾鏀粯鐨勫畨鍏ㄦ帶鍒躲傜郴缁熺殑浜ゅ弶楠岃瘉鍜屾巿鏉,鍏蜂綋浣撶幇鍦ㄤ互涓嬫柟闈:鍚堝悓鏉℃鎺у埗:鍚堝悓蹇呴』灞ヨ杈惧埌浠樻鏉℃鏉′欢鏃,椤圭洰缁忕悊鍦ㄥ悎鍚岀郴缁熸柟鍙彁浜ゆ敮浠樼敵璇;鎶ヨ处鍙戣捣鎺у埗:鍙湁鍚堝悓鏉℃鏄彲鏀粯,鎶ヨ处鎵嶈兘鍙戣捣浠樻鐢宠,骞朵笖閲戦涓嶅緱瓒呰繃鍙敮浠橀搴;鎶ヨ处瀹℃壒...
