深度学习数学基础(三)之简单数学
深度学习数学基础(三): 简单数学工具与应用
1. 函数的世界
- 一次函数: \( y = ax + b \) (a恒非零常数)，直观描绘直线关系，是理解更复杂模型的基础。
- 一元二次函数: \( y = ax^2 + bx + c \) (a决定开口方向)，抛物线图像的形状由a掌控。
函数的扩展
- 二次函数: 包括一元和多元形式，如神经网络中的代价函数——平方误差，用于衡量模型误差。
- 单位阶跃函数: 神经元的激活函数，如ReLU，虽非连续且不可导，但关键在其非线性特性。
- 指数函数: \( y = a^x \)，底数a决定增长速度，Sigmoid函数 \( f(x) = \frac{1}{1+e^{-x}} \) 在神经网络中扮演激活函数角色。
数学工具的实例
- Sigmoid函数: 用于将输入映射到(0,1)区间，常用于概率解释。初始化权重时，常用正态分布 \( f(x) = \frac{1}{\sqrt{2\pi\sigma}}e^{-\frac{(x-\mu)^2}{2\sigma^2}} \)，其中μ和σ决定分布特性。
- 数列: 如偶数列 \( 2, 4, 6, \ldots \) 和奇数列 \( 1, 3, 5, \ldots \)，理解通项公式 \( a_n = 2n \) 和 \( b_n = 2n - 1 \) 有助于处理递归关系。
- 递推关系与神经网络: 如第3层的计算 \( a^3 = a(w_{11}^3 a^2 + w_{12}^3 a_2^2 + w_{13}^3 a_3^2 + b_1^3), a_2^3 = a(w_{21}^3 a^2 + w_{22}^3 a_2^2 + w_{23}^3 a_3^2 + b_2^3) \)，递推关系在优化过程中至关重要。
结论
数学在深度学习中的基础作用不容忽视。理解这些简单数学概念，有助于我们更好地构建和优化神经网络模型。递推关系的运用，如误差反向传播，是机器学习的灵魂，让计算机器游刃有余地处理数学关系。
绛旓細娣卞害瀛︿範鏁板鍩虹(涓): 绠鍗曟暟瀛宸ュ叿涓庡簲鐢 1. 鍑芥暟鐨勪笘鐣 涓娆″嚱鏁: \( y = ax + b \) (a鎭掗潪闆跺父鏁)锛岀洿瑙傛弿缁樼洿绾垮叧绯伙紝鏄悊瑙ｆ洿澶嶆潅妯″瀷鐨勫熀纭銆 涓鍏冧簩娆″嚱鏁: \( y = ax^2 + bx + c \) (a鍐冲畾寮鍙ｆ柟鍚)锛屾姏鐗╃嚎鍥惧儚鐨勫舰鐘剁敱a鎺屾帶銆 鍑芥暟鐨勬墿灞 浜屾鍑芥暟: 鍖呮嫭涓鍏冨拰...
绛旓細娣卞害瀛︿範闇瑕佹帉鎻＄殑鏁板鍩虹鏈夛細1銆佹兂瑕佸涔犳繁搴﹀涔狅紝 绗竴涓渶瑕佺悊瑙ｉ忓交鐨勫闂槸绾挎т唬鏁帮紝娣卞害瀛︿範鐨勬牴鏈濇兂灏辨槸鎶婁换浣曚簨鐗╄浆鍖栨垚楂樼淮绌洪棿鐨勫悜閲忥紱2銆佹鐜囪鍩虹 锛 姒傜巼璁轰簨鏁翠釜鏈哄櫒瀛︿範鍜屾繁搴﹀涔犵殑璇█ 锛 鏃犺鏄繁搴﹀涔犺繕鏄満鍣ㄥ涔犳墍鍋氱殑浜嬫儏鏄潎鏄娴嬫湭鐭ワ紱3銆佸井绉垎锛屾暣涓皟鍙傜殑鍩虹锛岄兘鍦...
绛旓細闄や簡鎺屾彙闅忔満鐜拌薄鐨勫熀鏈蹇碉紙濡傞殢鏈鸿瘯楠屻佹牱鏈┖闂淬佹鐜囥佹潯浠舵鐜囩瓑锛夈侀殢鏈哄彉閲忓強鍏跺垎甯冧箣澶栵紝杩橀渶瑕佸澶ф暟瀹氬緥鍙婁腑蹇冩瀬闄愬畾鐞嗐佸弬鏁颁及璁°佸亣璁炬楠岀瓑鍐呭鏈夋墍浜嗚В锛岃繘涓姝ヨ繕鍙互娣卞叆瀛︿範涓鐐归殢鏈鸿繃绋嬨侀┈灏斿彲澶殢鏈洪摼鐨勫唴瀹广傚嚫浼樺寲 缁撳悎浠ヤ笂涓夐棬鍩虹鐨鏁板璇剧▼锛屽嚫浼樺寲鍙互璇存槸涓闂ㄥ簲鐢ㄨ绋嬨備絾瀵逛簬娣卞害瀛...
绛旓細闄や簡鎺屾彙闅忔満鐜拌薄鐨勫熀鏈蹇碉紙濡傞殢鏈鸿瘯楠屻佹牱鏈┖闂淬佹鐜囥佹潯浠舵鐜囩瓑锛夈侀殢鏈哄彉閲忓強鍏跺垎甯冧箣澶栵紝杩橀渶瑕佸澶ф暟瀹氬緥鍙婁腑蹇冩瀬闄愬畾鐞嗐佸弬鏁颁及璁°佸亣璁炬楠岀瓑鍐呭鏈夋墍浜嗚В锛岃繘涓姝ヨ繕鍙互娣卞叆瀛︿範涓鐐归殢鏈鸿繃绋嬨侀┈灏斿彲澶殢鏈洪摼鐨勫唴瀹广傚嚫浼樺寲 缁撳悎浠ヤ笂涓夐棬鍩虹鐨鏁板璇剧▼锛屽嚫浼樺寲鍙互璇存槸涓闂ㄥ簲鐢ㄨ绋嬨備絾瀵逛簬娣卞害瀛...
绛旓細銆愬洖绛斻戦鍏堝涔犳湰闂ㄨ绋嬪苟涓嶉渶瑕佺壒鍒珮鐨鏁板鍩虹锛屽彧闇瑕佹帉鎻″ぇ瀛︽湰绉戦樁娈靛涔犵殑楂樼瓑鏁板銆佺嚎鎬т唬鏁板拰姒傜巼璁虹瓑璇剧▼銆傝櫧鐒朵粠搴旂敤瑙掑害涓婃潵鐪嬶細濡傛灉鎯宠娣卞叆鐮旂┒娣卞害瀛︿範锛屾瘮濡傚畬鍏ㄨ嚜宸卞疄鐜颁笉鍚岀粨鏋勭殑缃戠粶锛岃璁＄綉缁滅殑灞備笌鍙傛暟鏈濂借兘澶熺啛缁冭繍鐢ㄧ煩闃电悊璁轰腑鐨勭浉鍏冲伐鍏凤紝浣嗘槸鎴戠浉淇″鏋滆亴涓氶亾璺鍒掍笉鏄畻娉曞伐绋嬪笀锛...
绛旓細1.銆娣卞害瀛︿範銆锛圖eepLearning锛byIanGoodfellow,YoshuaBengio,andAaronCourville锛氳繖鏈功鏄繁搴﹀涔犻鍩熺殑缁忓吀涔嬩綔锛岃缁嗕粙缁嶄簡娣卞害瀛︿範鐨勫熀鏈師鐞嗗拰绠楁硶銆備功涓寘鍚簡澶ч噺鐨勬暟瀛︽帹瀵煎拰瀹炰緥锛岄傚悎鏈変竴瀹鏁板鍩虹鐨勮鑰呫2.銆婄嚎鎬т唬鏁板強鍏跺簲鐢ㄣ嬶紙LinearAlgebraandItsApplications锛塨yGilbertStrang锛氱嚎鎬т唬鏁版槸娣卞害...
绛旓細鈭5鐨勬渶绠鍗鐨勮绠楁柟娉曟槸浣跨敤杩戜技鍊笺傜敱浜庘垰5鏄竴涓棤鐞嗘暟锛屾棤娉曠敤涓涓湁闄愮殑灏忔暟鎴栧垎鏁版潵琛ㄧず锛屼絾鎴戜滑鍙互鐢ㄨ繎浼煎兼潵浼拌瀹冪殑鍊笺傝繕鍙互浣跨敤璇曢敊娉曘傛垜浠彲浠ヤ粠涓涓帴杩戔垰5鐨勬暟寮濮嬶紝渚嬪2锛岀劧鍚庨愭澧炲姞鎴栧噺灏戣鏁扮殑鍊硷紝鐩村埌鎵惧埌涓涓洿鎺ヨ繎鈭5鐨勬暟銆備緥濡傦紝鎴戜滑鍙互灏濊瘯2.1銆2.2銆2.3绛夛紝鐩村埌...
绛旓細瀵逛簬闆鍩虹灏忕櫧锛屾兂寰娣卞害瀛︿範鍙戝睍锛岃鎺屾彙鍝簺鏁板鐭ヨ瘑鍛紵棣栧厛鏄嚎鎬т唬鏁般傚湪绁炵粡缃戠粶涓ぇ閲忕殑璁＄畻閮芥槸鐭╅樀涔樻硶锛岃繖灏遍渶瑕佺敤鍒扮嚎鎬т唬鏁扮殑鐭ヨ瘑浜嗐傝绠楀悜閲忕殑浣欏鸡鐩镐技搴︿篃瑕佺敤鍒板唴绉繍绠楋紝鐭╅樀鐨勫悇绉嶅垎瑙ｅ姙娉曚篃鍑虹幇鍦ㄤ富鎴愬垎鍒嗘瀽鍜屽寮傚煎垎瑙ｄ腑銆傚叾娆℃槸姒傜巼璁轰笌缁熻瀛︺傚箍涔夌殑璇达紝鏈哄櫒瀛︿範鐨勬牳蹇冩槸缁熻鎺ㄦ柇...
绛旓細鏁板娣卞害瀛︿範鏄寚鍦ㄦ暀甯堝紩棰嗕笅锛屽鐢熷洿缁曠潃鍏锋湁鎸戞垬鎬х殑瀛︿範涓婚锛屽叏韬績绉瀬鍙備笌銆佷綋楠屾垚鍔熴佽幏寰楀彂灞曠殑鏈夋剰涔夌殑鏁板瀛︿範杩囩▼銆傛暟瀛︽繁搴﹀涔犵殑鎰忎箟鍦ㄤ簬锛氫績杩涘鐢熺殑鏁翠綋鍙戝睍銆傛彁鍗囧鐢熺殑鏍稿績绱犲吇銆傚府鍔╁鐢熷浼氬涔狅紝骞剁湡姝ｆ垚涓哄涔犵殑涓讳汉銆傛繁搴﹀涔犳槸甯堢敓鍏卞悓鎴愰暱鐨勮繃绋嬶紝寮灞曞皬瀛︽暟瀛﹀绉戠殑娣卞害瀛︿範鐨勬剰涔夊湪浜庯細...
绛旓細瀛︿範娣卞害瀛︿範璇剧▼鐨勮瘽鏈鍩烘湰鐨勫氨鏄鍏锋湁涓瀹氱殑缂栫▼鍩虹锛屽苟涓斿叿澶囦竴瀹氱殑鏁板鍩虹銆傛瘮濡傝绠楁満鐩稿叧涓撲笟鐨勬湰绉戠敓銆佺爺绌剁敓锛岃绠楁満鐩稿叧涓撲笟鐨勯珮鏍¤甯堬紝浠庝簨IT琛屼笟鐨勭紪绋嬩汉鍛橈紝浜哄伐鏅鸿兘棰嗗煙鐨勪粠涓氫汉鍛樸傚湪鏈変竴瀹氬熀纭鐨勫墠鎻愪笅杩樻槸鑳藉浼氱殑銆傛棤缂栫▼鍩虹鐨勪汉鍛樺垯闇瑕佹彁鍓嶅涔爌ython鐨勫熀纭璇剧▼锛堟煇鍏殑娣卞害瀛︿範璇剧▼浼...
