面向大語言模型（LLMs）時代的冷啟動推薦：全面調研與路線圖

論文下載: Cold-Start Recommendation towards the Era of Large Language Models (LLMs): A Comprehensive Survey and Roadmap

1.引言

本文旨在對冷啟動推薦中最先進的技術和框架進行廣泛的回顧，并對知識范圍不斷擴大的大模型時代進行特殊展望，如圖1所示。根據收集的數據，考慮到外部知識源的規模，本文將現有工作分為四類：內容特征、圖關系、領域信息和來自大語言模型的世界知識。

2.前言

冷啟動推薦的主要挑戰在于新用戶和新商品幾乎沒有或沒有可用的信息。在這種情況下，系統很難基于非常稀疏的信息建模用戶與商品之間的相似性。因此，冷啟動推薦成為推薦系統中長期存在的問題。

本文明確定義了九個具體的冷啟動推薦任務。這些任務根據RecSys觀察用戶或項目的條件而有所不同，分為四個主要類別：長尾、正常冷啟動、嚴格冷啟動和系統冷啟動，以突出其獨特性特征。圖4說明了這些類別和相應的子任務，并闡明了訓練、調整和測試集在不同場景中的差異。

3.內容特征

根據內容特征的利用，可以將該方法分為兩種類型：數據不完整學習，用于解決嚴格冷啟動場景，即沒有先前交互的情況；以及數據高效學習，旨在優化普通冷啟動場景中的性能，即可用的交互數據有限。

3.1數據不完整學習

基于不同的學習方式可以分為四類：魯棒協同訓練、知識對齊、冷啟動探索和特征相似性度量。

3.1.1魯棒協同訓練

在冷啟動推薦中，魯棒協同訓練采用魯棒策略來聯合利用基于行為的熱用戶/物品表示和基于內容的冷用戶/物品表示進行協同訓練。可以分為兩類：魯棒泛化和自動編碼器。

魯棒泛化：通過強大的泛化策略同時優化基于行為的表示和基于內容的表示。代表性方法包括：DropoutNet、Heater、MTPR、Cold-Transformer和TDRO。

自動編碼器：采用編碼-解碼架構，編碼器通過變分或去噪策略獲取信息，解碼器負責信息重構，兩者共同訓練以表示冷啟動和熱啟動的實例。代表性方法包括：LLAE、MAIL、CVAR、GoRec和CFLS。

3.1.2知識對齊

由于從行為數據中獲得的暖表示與從內容數據中獲得的冷表示之間存在語義差異，因此戰略對齊是必不可少的。現有的知識對齊可以分為三類：對比學習、知識蒸餾和生成對抗網絡。

對比學習：用于將冷實例的基于內容的表示與熱實例的基于行為的表示聯系起來。代表性方法包括：CLCRec和CCFCRec。

知識蒸餾：將知識從基于行為的熱表示提煉為基于內容的冷表示，目標是確保兩者的表示傳達更一致的信息。代表性方法包括：ALDI、DTKD和Cold & Warm Net。

生成對抗網絡：用于使從內容映射器生成的冷表示更類似于輸入推薦系統的暖表示。代表性方法包括：GAR、GF2、GAZRec。

3.1.3冷啟動探索

基于冷探索的方法允許探索冷用戶或項目之間的興趣，利用推薦系統的反饋信號來快速調整冷實體的表示和建模。

強化學習：強化學習算法通常用于冷實例的興趣探索，以快速進行冷啟動表示。代表性方法包括：MetaCRS、WSCB、RL-LTV和ColdNAS。

3.1.4特征相似性度量

從內容特征相似度的角度來學習和評估用戶/項目興趣。通過這種方式，模型可以避免熱表示（來自行為數據）和冷表示（來自內容數據）之間的信息差異。

多特征融合：同時利用多個特征來提供更多信息，以便由于數據不完整問題而更好地進行冷實例測量。代表性方法包括：CIRec、SMINet和AutoFuse。

哈希：哈希用于將熱用戶/項目和冷用戶/項目的表示映射到統一的二進制哈希碼空間，以進行相似性測量。代表性方法包括：NeuHash-CF和MFDCF。

3.2數據高效學習

基于梯度的元學習，通過在訓練期間模擬少樣本測試場景并利用二階梯度，實現了在最小數據下的快速適應。許多研究將元學習應用于冷啟動問題，并將其分為四種方法：元學習優化、元任務利用、元嵌入初始化和序列元學習。

3.2.1元學習優化

元學習的本質在于通過多樣化用戶的歷史交互進行模型預訓練，然后利用有限的額外交互數據快速適應新的冷啟動用戶或項目。因此，優化預訓練和適應階段對于提高冷啟動推薦性能至關重要。

預訓練：MeLU、PNMTA和FORM。

適應：MAMO、PNMTA和CMML。

3.2.2元任務利用

除了優化之外，一些研究強調了任務相似性和差異性在元學習中的重要性。傳統方法將每個用戶視為一個獨立的任務，訓練時不考慮任務之間的關聯。這限制了模型識別個別用戶貢獻及其對應任務關系的能力。該領域的研究主要集中在兩個關鍵方面：任務差異和任務相關性。

任務差異：WDoF、TDAS等。

任務相關性：該領域的方法利用聚類或相似性度量。代表性方法包括：TaNP等。

3.2.3元嵌入初始化

元嵌入初始化旨在生成預先訓練的嵌入，以加速冷啟動用戶和項目的擬合過程。這些方法利用元學習算法來生成預熱嵌入，從而提高表示質量和適應速度。

3.2.4序列元學習

與序列推薦框架相一致，序列元學習結合了用戶交互的時間順序，利用有限的歷史行為序列捕捉動態偏好。代表性方法包括：MetaTL等。

4.圖關系

圖關系提供了高階信息，而不僅僅是用戶或項目本身的內容特征。使用圖關系知識能夠將來自鄰居的信息引入特定用戶或項目。在這方面的主要挑戰在于如何為冷啟動用戶或項目提供圖信息，因為缺乏歷史交互信息。

4.1交互圖增強

交互圖增強專注于增加冷節點在交互圖上的交互數量，以便為它們提供更多的圖信息。交互圖增強相關的工作可以分為兩大類：補充圖關系和同質網絡關系。

4.1.1補充圖關系

這種模型旨在通過為冷實例包含圖關系信息來補充原始的用戶-項目交互圖。基于高質量的構建邊，冷實例將從其他節點聚合外部信息。代表性方法包括：CGRC、MI-GCN和UCC。

4.1.2同質網絡關系

表明中心節點及其鄰近節點應具有相似的行為或標簽信息。為了納入同質性網絡關系，算法通常需要探索用戶和項目之間的顯性/隱性額外關聯，例如社交關系。代表性方法包括：Shams、GME和SDCRec。

4.2圖關系擴展

圖關系擴展旨在擴展具有更復雜關系的原始交互圖，以傳遞冷實例的相關圖信息。可以分為三類：異構圖關系、屬性圖關系和知識圖關系。

4.2.1異構圖關系

異構圖通過擴展圖中節點和邊的類型來獲得更復雜、信息更豐富的關系。該擴展通常基于其他可用關系或來自其他信息源的隱式關系挖掘。代表性方法包括：GIFT、HGNR、MvDGAE、PGD和IHGNN。

4.2.2屬性圖關系

屬性通常揭示實例的固有信息，相似的屬性可以表示兩者具有相似的特征。代表性方法包括：ColdGPT和EmerG。

4.2.3知識圖關系

知識圖譜中的輔助信息可用于增強冷實例學習。代表性的方法包括：KGPL、MetaKG和CRKM。

4.3圖聚合器改進

圖聚合方法會設計一個增強模型，從有限的結構數據中提取更多可用信息以進行冷啟動推薦。相關的工作可以分為兩大類：聚合范圍擴展和增強信息聚合器。

4.3.1聚合范圍擴展

將模型的范圍擴展到局部鄰域之外，鼓勵關注全局或者長距離上下文。通過這種方法，冷實例可以感知遠距離相關節點，從而緩解直接鄰域的稀疏性。代表性方法包括：MeGNN、MPT。

4.3.2信息聚合增強

細化了聚合器的功能，使其能夠在冷實例的有限交互數據內捕獲冷節點的更多關鍵信息。代表性方法包括：A-GAR。

5.領域信息

跨不同領域的遷移學習通過利用來自具有豐富數據的源領域的知識來增強具有有限信息的目標領域的推薦性能。現有工作可以分為三類：領域知識遷移、領域分布對齊和領域不變表示學習。

5.1領域知識遷移

通常依賴于嵌入映射、圖連接或學習過程來促進知識從熱源域到冷目標域的遷移。

5.1.1嵌入映射

通過非線性變換對齊兩個域的嵌入空間，確保平穩有效的知識遷移。

大部分工作采用單個多層感知器進行兩個域表示空間的通用映射，比如MAFT。最近的研究提出了為每個用戶定制的個性化映射方法，比如PTUPCDR。

5.1.2異構連接

利用輔助圖網絡結構來顯式建模和跨領域轉移知識。輔助圖可以分為知識圖譜和混合圖，混合圖的方法包括CBMF和DisCo。

5.1.3學習過程

研究人員采用不同的訓練過程和調整技術來隱式地將信息從源域轉移到目標域。訓練技術的方法包括WITF，調整方法包括基于元學習的方法和基于對比學習的自適應微調方法。

5.2領域分布對齊

側重于減少源域和目標域之間的分布差異，以實現有效的知識共享。包括協同過濾對齊和輔助特征對齊。

5.2.1協同過濾對齊

利用共享的交互模式和用戶行為來促進領域之間更好的知識遷移，可以分為對比對齊和潛在維度對齊。對比對齊的方法包括HGCCDR，潛在維度對齊利用編碼器-解碼器架構來對齊潛在表示空間中的域，比如DAUC和LACDR。

5.2.2輔助特征對齊

直接對齊源域和目標域之間的潛在嵌入分布本質上是具有挑戰性的，在公共輔助特征空間上強制兩個域的對齊使得該過程更容易實現。代表性方法包括DisAlign、CPKSPA和CCDR。

5.3領域不變表示學習

假設存在一個可以跨域轉移的共享特征空間，捕獲常見的用戶便好或項目特征。

5.3.1解耦表示

該方法的優化目標是分離域共享特征和域特定特征，可分為對抗學習和注意力機制。基于對抗學習的解耦方法訓練判別器來區分源域和目標域的表示，代表性方法包括Diff-MSR和UniCDR。基于注意力機制的方法采用多通道注意力機制。

5.3.2融合表示

通過多視角學習和交換學習在不同域之間融合特征，使模型在不同上下文中學習域不變的表示。多視角學習利用互補的視角創造跨域推薦的共享表示，比如通過結合內容語義和結構連接性實現域不變的表示。交換學習通過交換域特定信息來精煉域不變特征，比如CDRIB和CATN。語義學習通過融合來自用戶和項目的不同輔助信息來橋接不同域，比如RCDFM。

6.世界知識

現有工作可以分為兩類：LLM作為推薦系統和LLM作為知識增強器。

6.1LLM作為推薦系統

6.1.1提示策略

通過將推薦任務轉換為自然語言處理問題來指導LLM做出準確的冷啟動推薦，涉及到設計特定于任務的提示等技術，包括直接提示、集成外部信息的多步驟提示以及檢索增強推薦。

直接提示提出了一種簡單的直接提示方法，比如PromptRec。多步驟提示將冷啟動推薦任務轉化為更易于管理、模態信息豐富的多步驟任務，比如使用三步提示法：捕獲用戶偏好、選擇代表性電影和基于以上輸入進行推薦。

檢索增強推薦主要用于檢索相關的確切項目實體或重要信息，以便對用戶/項目進行編碼，從而增強基于LLM的推薦模型的建模精度。通過利用檢索獲得的額外和細致信息，可以顯著增強對冷啟動和零樣本實例的建模。

6.1.2調整模型

調整LLM的動機源于需要彌合RecSys的偏好捕獲過程與冷啟動推薦中LLM的豐富語義理解之間的差距，分為指令調整和微調。

冷啟動指令調優的總體框架是將推薦任務轉換為文本到文本的生成過程，其中模型通過下一個令牌預測訓練學習以自然語言解釋用戶歷史和項目元數據。構建的基于指令的數據集使大模型推薦能夠獲得協同過濾知識，并無縫適應新的項目和領域，而無需額外耗時的預訓練。代表性方法包括：TALLRec、P5、CoLLM、BinLLM、TransRec、RecSysLLM、IDGenRec和A-LLMRec等。

為了超越基于指令的推薦，基于微調的方法通過專門設計的損失（例如對比損失）或額外的可訓練參數（例如軟提示和適配器）使模型能夠學習豐富的、特定于推薦領域的模式。主要目標是更明確地編碼協作和語義信息，使它們能夠捕獲復雜的用戶-項目交互，并為新項目和用戶提供準確的推薦。代表性方法包括：NoteLLM、NoteLLM-2、URLLM、POD和XRec。

6.2LLM作為知識增強器

特定場景下的冷啟動推薦任務的目標是利用附加信息盡可能準確地表示冷實例的偏好，而大語言模型通過海量語料信息預訓練獲得的世界知識可以服務于冷實例的偏好。

6.2.1LLM作為表示增強

采用LLMs作為表示增強器，具體表現為：(i) 利用其他模態感知的表示（如文本特征和多模態信息）擴展原始ID嵌入，以及 (ii) 通過統一的基于LLM的架構建模多領域知識。多模態方法包括EasyRec和SAID，多領域方法包括LLM-REC和KAR等。

6.2.2LLM作為關系增強

由于現有的推薦模型主要依賴行為特征進行建模，關系增強可以顯著提升當前推薦模型對冷啟動實例的建模能力。關系增強可以分為行為模擬和外部關系補充。

行為模擬方法中，LLMs可以作為行為信號生成器，通過分析用戶和商品之間的語義相似性來生成有效的行為。這些有效生成的行為可以幫助解決冷啟動實例的數據稀疏問題，比如ColdLLM。

外部關系補充中，LLMs可以作為區分性的中間增強器，利用世界知識和學習到的常識信息，將用戶-商品交互圖與額外提供的文本驅動關系信息關聯起來，例如外部文本豐富的知識圖，以避免冷啟動實例的知識稀疏問題。代表性方法包括：CSRec和CoLaKG。

7.挑戰和機遇

如圖8，本文從算法開發、模型部署以及基準測試展開討論。

7.1多模態冷啟動推薦

多模態冷啟動推薦的挑戰包括：

（1）如何有效融合和利用多模態信息，因為不當的利用方法可能會引入噪聲并降低性能。

（2）缺失模態信息，大多數現有推薦數據集提供的模態有限，這也限制了最先進的多模態方法在推薦系統中的應用。

（3）用戶興趣建模與多模態嵌入提取之間存在顯著差距，預訓練編碼器通常直接用于或優化于內容導向的任務，而非用戶偏好，導致內容理解與個性化之間的差異。

（4）現有方法通常未能考慮用戶對不同模態的敏感性差異，因為個體可能對某些模態方面表現出更強的偏好，而對其他模態則持無差別態度。

為了解決這些挑戰，本文提出以下潛在的研究方向：

（1）發展有效且高效的模態融合方法，捕捉互補信息，同時對噪聲和缺失數據保持魯棒性。

（2）構建豐富的多模態推薦數據集，整合超出文本和視覺信息的多樣化模態。

（3）通過個性化的多模態嵌入技術和端到端架構，彌合多模態內容與用戶興趣建模之間的差距，實現內容理解與用戶偏好的聯合優化

（4）設計自適應個性化框架，根據個體用戶的偏好和上下文動態調整不同模態的重要性。

7.2推薦基礎模型

自然語言處理領域中，基礎模型可以輕松適應各種下游任務。這些模型在從文本分類到對話生成等任務中展現了卓越的能力，顯著減少了從零開始進行任務特定訓練的需求。推薦領域面臨著類似的機會：利用類似的“基礎模型”來處理廣泛的冷啟動任務，從而增強適應性、效率和可擴展性。

未來的研究方向包括這些推薦基礎模型的設計和實現，以及快速將基礎模型適應于不同冷啟動子任務的算法。這些模型不僅能夠實現多任務推薦能力，還能夠在不同領域之間動態調整。

7.3冷啟動推薦的效率

目前基于LLM的冷啟動推薦方法在訓練和推理過程中需要顯著的計算開銷，這為實時部署帶來了挑戰。因此，迫切需要能夠處理工業規模推薦系統并滿足實時應用每秒查詢要求的解決方案。

未來的研究可以優先考慮開發輕量級和可擴展的模型，并探索結合基于內容和協同過濾技術的混合策略，以提供更穩健的解決方案。實時學習機制尤為關鍵，因為它們能夠迅速將冷啟動商品或用戶的早期信號納入反饋循環，從而允許快速適應動態環境。

7.4冷啟動推薦中的數據隱私

數據隱私長期以來一直是推薦系統面臨的挑戰，而依賴于用戶信息使得冷啟動推薦的挑戰更加明顯。因此，還存在以下問題：

（1）對附加信息的依賴。 構建用戶檔案是推薦系統的核心，但這可能涉及使用敏感信息。在利用有效的用戶檔案和保護用戶隱私之間取得平衡是冷啟動模型設計中的一大挑戰。

（2）領域信息隱私。 在跨領域推薦系統中，隱私保護更具挑戰性，特別是在冷啟動場景中，數據稀疏是一個重大問題。鼓勵不同領域之間的數據協作可能會導致隱私泄露。

為了解決這些問題，一些有前景的技術如下：

（1）隱私計算。 差分隱私計算可以通過向數據添加噪聲來保護用戶隱私信息，使得平臺和攻擊者無法通過分析結果推斷特定個體的信息。此外，同態加密允許對加密數據直接進行計算，而無需解密，從而保護數據隱私。

（2）聯邦學習。 聯邦學習在冷啟動問題的隱私保護方面提供了若干優勢。FL允許像附加信息這樣的數據保持本地，不上傳到中央服務器，從而保護用戶隱私。FL支持去中心化模型訓練，多方可以在不共享原始數據的情況下協同訓練模型，這對跨領域冷啟動推薦非常有幫助。

7.5基準與統一評價

現有冷啟動推薦系統的評估目前多樣且不一致。因此，開發一個統一和公平的評估基準對社區來說是有前景且有意義的。

具體而言，冷啟動推薦存在多種問題設置，例如嚴格冷啟動、非嚴格冷啟動和長尾冷啟動，每種設置都需要進行公平評估。這引發了以下三個主要問題：

1. 不同的基準數據集。 不同論文使用的數據集很少重疊，這使得研究人員難以在多個相關數據集之間進行統一比較。未來的一個有前景的方法是鼓勵社區專注于選擇一組高質量的數據集進行比較實驗。

2. 不同的評估設置。 這一部分的關鍵問題是冷用戶/商品的設置。具體而言，在實驗中如何定義和合成冷用戶/商品？在許多冷啟動研究的實驗中，冷用戶/商品往往通過不同的方法（時間范圍、交互次數和隨機選擇）獲得，且對冷啟動設置的定義模糊，仍然缺乏統一的規則。

3. 開源評估框架。 一個統一的開源評估代碼庫，用于冷啟動推薦，并具有公平的評估設置和指標，將對研究社區非常有幫助。

8.總結

本文對冷啟動推薦進行了全面的回顧，并提供了從內容特征、圖關系、領域信息到大語言模型的世界知識的路線圖。具體來說，首先正式定義冷啟動推薦領域的不同研究問題。然后，系統地審查冷啟動方法，在每個部分中提供背后的整體見解，并列出了一些代表性作品。此外，本文重新思考了冷啟動推薦的一些挑戰，并總結了一些有意義的未來方向。

相關資源整理在 Github (https://github.com/YuanchenBei/Awesome-Cold-Start-Recommendation) 中。