万字长文-多场景建模总结
在现代推荐系统中，多场景建模日益重要，它旨在通过单一模型应对淘宝首页、快手推荐等多元场景，有效解决了随着应用场景增多，单一模型数据不足和性能下降的问题。其中，阿里巴巴在学术界的研究成果尤为引人关注。
创新技术大放异彩
以SAR-Net为例，2021年的CIKM论文巧妙地运用了场景时序特征提取、场景转换、CGC模块和Debias模块，构建出一个兼顾效率与公平性的框架。SAR-Net结构巧妙地整合了时序特征提取、场景转换，以及共享和独立专家的CGC网络，同时还通过计算公平系数的Debias模块确保推荐的公正性。
2021年WSDM的M2M论文则将多任务和多场景学习相结合，引入公共和领域特定的参数，通过场景辅助网络影响预估值。模型 backbone 包含嵌入、Transformer和带有任务编码的专家视图，Meta Learning机制采用场景适应的MLP权重，提升了广告主建模的效率。
阿里在2022年的AdaSparse研究中，通过场景适应性网络裁剪策略，解决了多场景的网络结构优化问题。PEPNet和HiNet则是通过引入个性化信息和场景抽取层，进一步细化了场景适应的处理方式。
2023年的DFFM和MARIA，腾讯的3MN，以及Hybrid Contrastive Constraints for Multi-Scenario Ad Ranking，都展示了各自的独到见解。DFFM利用Domain Feature Embedding作为权重，MARIA则通过特征增强和交叉等模块，腾讯的3MN则通过生成网络权重和场景自适应嵌入来提升多场景处理能力。
核心技术的深度剖析
在这些模型中，场景自适应层运用MoE结构，Meta Network根据场景特征动态生成Gate权重，这使得模型能够灵活适应不同场景。CGC网络则结合了任务和场景信息，通过Meta Network处理权重生成，确保推荐的精准性。
Meta Network的核心在于其Multi-Head Self Attention、Dropout、残差网络和全连接层，它们协同工作，生成任务和场景的权重，优化了CTR预测的准确性和效率。
总结来说，这些多场景建模的创新技术不仅提升了推荐系统的性能，还兼顾了公平性和个性化，展现出在处理复杂多变的推荐场景中的强大适应性和优化潜力。每一个模型都在其独特的视角下，为提升推荐体验贡献了宝贵的智慧。
绛旓細2021骞碬SDM鐨凪2M璁烘枃鍒欏皢澶氫换鍔″拰澶氬満鏅瀛︿範鐩哥粨鍚堬紝寮曞叆鍏叡鍜岄鍩熺壒瀹氱殑鍙傛暟锛岄氳繃鍦烘櫙杈呭姪缃戠粶褰卞搷棰勪及鍊笺傛ā鍨 backbone 鍖呭惈宓屽叆銆乀ransformer鍜屽甫鏈変换鍔＄紪鐮佺殑涓撳瑙嗗浘锛孧eta Learning鏈哄埗閲囩敤鍦烘櫙閫傚簲鐨凪LP鏉冮噸锛屾彁鍗囦簡骞垮憡涓寤烘ā鐨勬晥鐜囥傞樋閲屽湪2022骞寸殑AdaSparse鐮旂┒涓紝閫氳繃鍦烘櫙閫傚簲鎬х綉缁滆鍓瓥鐣ワ紝瑙ｅ喅浜...
绛旓細娣卞叆鎺㈢储闇姹傚垎鏋愮殑鑹烘湳锛氫竴鍦涓囧瓧闀挎枃鐨勫叏闈㈣В璇 鍦ㄤ骇鍝佸紑鍙戠殑椹媺鏉句腑锛岄渶姹傚垎鏋愭槸鍏抽敭鐨勮捣璺戠嚎銆傚畠濡傚悓涓搴фˉ姊侊紝杩炴帴鐫鐢ㄦ埛銆佸姛鑳藉拰鍟嗕笟鐩爣锛屽喅瀹氫簡浜у搧鑳藉惁鎴愬姛瑙﹁揪鐩爣甯傚満銆傞鍏堬紝璁╂垜浠竴璧风悊瑙ｇ敤鎴烽渶姹傜殑澶氬厓缁村害锛氶嗗悜璁捐娉曟彮绀轰簡鐢ㄦ埛鑳屽悗鐨勫姩鏈猴紝鑰屽姛鑳介渶姹傚垯閫氳繃UML寤烘ā鐩磋灞曠幇锛屽晢涓氶渶姹傚垯閫氳繃...
绛旓細HAN鍒╃敤GAT杩涜鐗瑰緛鑱氬悎锛孧eta-path2vec鍒欓氳繃鍏冭矾寰勫鐞嗗鏉傚叧绯伙紝鑰孭interest鐨凱inSAGE寮曞叆閲嶈鎬ч噰鏍峰拰hard neg samples鐨勮缁冪瓥鐣ャ侴ATNE鍒欏湪澶氬叧绯诲涔犱腑瑙ｅ喅鍐峰惎鍔ㄩ棶棰橈紝濡侱KN鍒╃敤鐭ヨ瘑鍥捐氨澧炲己鏂伴椈鎺ㄨ崘鐨勫叧鑱旀э紝MvDGAE鍒欒В鍐充簡HIN鏂规硶鍦ㄥ喎鍚姩鍦烘櫙鐨勬硾鍖栭棶棰樸4. 瀹炶返搴旂敤涓庢渚嬪浘绁炵粡缃戠粶妯″瀷濡侴ATNE閫氳繃...
绛旓細闈㈠澶氶噸鍏辩嚎鎬э紝宀洖褰掑拰Lasso鍥炲綊澶ф樉韬墜銆傚箔鍥炲綊閫氳繃L2姝ｅ垯鍖栧鐞嗭紝鐩爣鍑芥暟鍖呭惈l2鎯╃綒椤癸紝Lasso鍒欓氳繃鏈灏忓寲缁濆鍋忓樊杩涜鍙橀噺閫夋嫨銆侺asso鍑芥暟涓紝scaler鐨勫簲鐢ㄤ娇寰楃壒寰佺瓫閫夋洿涓虹簿纭紝寮规х綉缁滃垯宸у缁撳悎涓よ咃紝骞宠 浜哃1鍜孡2鑼冩暟銆傝礉鍙舵柉宀洖褰掑垯鎻愪緵浜嗗鏉傚害闂鐨勮В鍐虫柟妗堬紝閫氳繃璐濆彾鏂柟娉曪紝鎴戜滑涓嶄粎璁粌妯...
绛旓細鍦ㄧ煩闃靛垎瑙ｇ殑涓栫晫閲岋紝濡侳M銆丗FM鍜孴ensor鍒嗚В锛屾垜浠湅鍒颁簡鐗瑰緛鍏宠仈瀛︿範鍜屽缁村叧绯寤烘ā鐨勮繘姝ャ侳M鍜孎FM閫氳繃浜岄樁椤瑰鐞嗙█鐤忔暟鎹紝FFM鐨勬墿灞曟ф洿寮猴紝鑰孴ensor鍒嗚В鍒欐墿灞曚簡鐭╅樀鍒嗚В鐨勮竟鐣岋紝閫傚簲鏇村鏉傜殑鏁版嵁鍏崇郴銆鎬荤粨鏉ヨ锛岀煩闃靛垎瑙ｄ笉浠呮槸鎶鏈殑缁撴櫠锛屼篃鏄悊璁轰笌瀹炶返鐨勫畬缇庣粨鍚堛傚畠閫氳繃鏁板鐨勪弗瀵嗘у拰鐗╃悊鐨勭洿瑙...
绛旓細灏界鍓嶇BI宸ュ叿鍦ㄦ煇浜鍦烘櫙涓嬫樉寰楃洿瑙傦紝浣嗚繃搴︿緷璧栬嚜鍔〣I鍙兘瀵艰嚧璇В鏁版嵁浠撳簱鐨勯噸瑕佹э紝瀵艰嚧椤圭洰瀹炴柦澶辫触銆傛淳鍙暟鎹氳繃鍒嗕韩瀹㈣鐨凚I鐭ヨ瘑锛屽己璋冨疄鏂界殑澶嶆潅鎬у拰蹇呰姝ラ锛屽府鍔╃敤鎴烽伩鍏嶅疄鏂介櫡闃便傚晢涓氭櫤鑳紹I鐨勫疄鏂藉苟闈炴槗浜嬶紝鍘傚晢闇瑕佸叿澶囪冻澶熺殑鎶鏈繁搴︺傛淳鍙暟鎹殑瑙嗛鍙疯嚧鍔涗簬鎻愬崌琛屼笟鐭ヨ瘑锛屾彮绀築I瀹炴柦鐨勯櫡闃憋紝涓...
绛旓細瀵规暟鍛ㄦ湡澶╃嚎锛圠PDA锛夌殑鍑虹幇锛屽鍚岀鎶鐨勭獊鐮达紝閫氳繃鎵╁睍棰戠巼鍝嶅簲锛屾嫇瀹戒簡闆疯揪鐨勮閲庛傝灪鏃嬪ぉ绾垮垯鍦ㄦ甯告ā寮忥紙鍏ㄥ悜锛夊拰杞村悜妯″紡锛堝畾鍚戯級闂村垏鎹紝閫傚簲涓嶅悓鐨勫簲鐢鍦烘櫙銆傝彵褰㈠ぉ绾夸互鍏跺甯﹀畾鍚戞э紝鍦℉F棰戞澶ф斁寮傚僵锛岃屽笜寮忓ぉ绾垮垯浠ョ煭娉㈠鍋舵瀬瀛愰樀鍒楃殑褰㈠紡锛屾瀯寤哄嚭绮剧‘鐨勫畾鍚戝厜鏉燂紝濡傜獥甯橀樀鍒楋紝閫傜敤浜庤繙绋嬮氫俊鐨...
绛旓細娣卞叆娲炲療鍏ㄥ煙钀ラ攢锛氫竴浣撳寲绛栫暐涓庣簿鍑嗗疄鏂 鍦ㄥ綋浠婂晢涓氱珵浜夌殑鑸炲彴涓婏紝浼佷笟闈复鐨勬寫鎴樻槸濡備綍瀹炵幇娑堣垂鑰呭叏娓犻亾鐨勬棤缂濊繛鎺ャ傚叏鍩熻惀閿锛岃繖涓鍏ㄦ柊鐨勮惀閿鐞嗗康锛屾鏄互娑堣垂鑰呬负涓績锛岄氳繃鏁村悎绾夸笂绾夸笅鍦烘櫙锛屾瀯寤鸿捣鍏鍩熸祦閲忕殑涓浣撳寲瑙︾偣缃戙傚畠瑕佹眰浼佷笟涓嶄粎鍏虫敞浜у搧鍙戝０锛屾洿瑕佸己璋冧骇鍝佷环鍊肩殑浼犳挱鍔涘拰鍙寔缁э紝浠ユ弧瓒...
绛旓細鍚屾椂锛岄氳繃鍔犲叆鍣０锛孷AE澧炲己浜嗘ā鍨嬬殑椴佹鎬э紝浣垮緱缁撴灉鏇村姞绋冲畾鍜屽彲淇°鎬荤粨鏉ヨ锛屽彉鍒嗚嚜缂栫爜鍣ㄦ槸涓涓瘜鏈夋繁搴︾殑妯″瀷锛屽畠閫氳繃鍙樺垎娉曞拰鍣０缂栫爜锛屽疄鐜颁簡鏁版嵁鐢熸垚鐨勯潻鍛芥ф彁鍗囥傛棤璁烘槸鍦ㄧ悊璁哄眰闈㈢殑鐞嗚В锛岃繕鏄湪瀹為檯搴旂敤涓殑琛ㄧ幇锛孷AE閮藉煎緱娣卞叆鐮旂┒鍜屾帰绱
绛旓細浠涔堟槸涓囧瓧绗︼紵涓囧瓧绗︼紝閫氬父鐢ㄤ互琛ㄧず姹夊瓧鐨勬暟閲忥紝浠モ渨鈥濅綔涓哄崟浣嶏紝鍗充竴涓渨鈥濅唬琛ㄤ竴涓囦釜姹夊瓧銆傚湪鏁板瓧鍖栦俊鎭椂浠ｏ紝涓囧瓧绗﹀箍娉涘簲鐢ㄤ簬鍐呭鍒涗綔銆佸競鍦鸿惀閿銆佺ぞ浜ゅ獟浣撶瓑澶氫釜棰嗗煙锛屽畠鏄 閲忔枃鏈川閲忓拰鍙鎬х殑鍏抽敭鎸囨爣涔嬩竴銆備竾瀛楃鍦ㄥ摢浜涘簲鐢鍦烘櫙涓浣跨敤锛熷湪鍐呭鍒涗綔棰嗗煙锛屼竾瀛楃甯哥敤浜庢枃绔犮佹柊闂绘姤閬撱佸崥瀹...
