WWW 2025 | 中南、微軟提出端到端雙重動態推薦模型，釋放LLM在序列推薦中的潛力...

?PaperWeekly 原創 ·?作者 |?殷珺

單位 |?中南大學碩士研究生

研究方向 |?大語言模型、推薦系統

論文題目：

Unleash LLMs Potential for Sequential Recommendation by Coordinating Dual Dynamic Index Mechanism

論文鏈接：

https://openreview.net/pdf?id=GE71TxvTH3

代碼鏈接：

https://github.com/Esperanto-mega/ED2

論文錄用：

The ACM Web Conference Research Track 2025 (Oral)

摘要

由于大型語言模型（Large Language Models，LLMs）在語義理解和邏輯推理方面表現出前所未有的能力，它們在下一代序列推薦系統（Recommender Systems，RSs）的開發中展現出了巨大的潛力。

然而，現有的基于 LLM 的序列推薦系統大多將索引生成與序列推薦分離，這導致語義信息與協同信息的融合不夠充分。此外，對用戶相關信息的忽視限制了基于 LLM 的序列推薦系統對高階用戶-物品交互模式的挖掘。

為了解決上述問題，我們提出了端到端雙重動態（End-to-End Dual Dynamic, ED²）推薦模型，這是首個采用雙重動態索引機制的基于 LLM 的序列推薦系統。該機制不僅能夠將索引生成和序列推薦整合到統一的 LLM 主干流程中，還使得基于 LLM 的序列推薦系統能夠有效利用用戶相關信息。

具體而言，為了提升 LLM 對雙重動態索引的理解能力，我們提出了一種多粒度 Token 調節器，該調節器基于 LLMs 的語義知識，在多個表示粒度上構建對齊監督。此外，我們特別設計了用戶集合數據及一系列新穎的指令微調任務，以捕捉高階用戶-物品交互模式。

在三個公開數據集上的廣泛實驗表明，ED² 的性能優越，在命中率（Hit-Rate）上平均提升 19.62%，在歸一化折損累計增益（NDCG）上平均提升 21.11%。

動機

盡管取得了顯著成就，當前基于 LLM 的序列推薦系統仍然面臨以下局限：

（i）靜態索引機制限制了 LLM 對語義信息和協同信息的融合。如圖 1b 所示，現有的基于 LLM 的序列推薦系統大多采用靜態索引機制，將索引生成過程與序列推薦過程分離。

在推薦系統優化過程中，靜態索引保持不變，因此無法考慮物品之間的協同相似性。例如，電影《變形金剛》（2007年7月3日）與教學視頻《Transformer詳細講解》（2021年10月28日）在文本內容上高度相似，但在用戶交互記錄中的重疊度卻極低。?

（ii）忽視用戶相關信息，限制了 LLM 對高階用戶-物品交互模式的挖掘。如圖 1b 所示，大多數主流的基于 LLM 的序列推薦系統（如 FDSA、TIGER 和 LC-Rec）僅依賴物品相關信息（即物品文本內容和交互物品序列）進行下一個物品的預測，而不考慮用戶相關信息。這使得基于 LLM 的序列推薦系統難以捕捉和利用高階用戶-物品交互模式。

在傳統的序列推薦系統中，高階用戶-物品交互模式至關重要，并對推薦結果有著巨大貢獻。例如，用戶共同購買模式（co-purchase pattern）能夠識別出具有相似興趣的用戶，而用戶偏好模式（user preference pattern）則反映了用戶在長時間跨度上的一致性喜好。

方法

3.1 端到端雙重動態語義推薦系統

端到端雙重動態（ED²）推薦模型由共享的 LLM 主干網絡和雙重動態索引生成器組成。共享的 LLM 主干網絡負責理解用戶/物品的文本特征，并推理序列推薦結果。雙重動態索引生成器能夠將 LLM 主干網絡提供的用戶/物品表示量化為離散索引。

具體而言，語義信息首先在 LLM 主干網絡的幫助下從文本內容中提取，然后通過雙重動態索引生成器壓縮為緊湊的索引，最終通過面向序列推薦的微調與協同信息融合。

3.1.1 語義信息提取

為了充分利用與用戶和物品相關的語義信息，我們基于它們的文本特征初始化用戶/物品表示。

對于每個用戶及其交互序列，我們查找并組織對應的文本特征，形成集合。在 LLM 主干網絡的文本編碼器中，LLM 的分詞器（Tokenizer）首先將文本內容轉換為標記索引（token indices），然后標記嵌入層（token embedding layer）將標記索引投影為標記嵌入（token embeddings）。

最終，LLM 基于其內在的語義知識，將標記嵌入轉換為語義表示。語義信息提取過程可以表示為：

其中，d 表示 LLM 的隱藏層特征維度。

3.1.2 雙重動態語義索引生成

基于 LLM 主干網絡文本編碼器提取的語義表示，雙重動態索引生成器將其中的語義信息壓縮為離散索引。由于雙重動態索引的離散性，下游的 LLM 主干推薦器能夠直接生成推薦結果的索引，從而充分激發 LLM 主干的自然語言生成能力。

通常，每個用戶/物品都與一個唯一標識符（如 <user_9974>、<item_161>）相關聯。一種樸素的策略是將所有唯一標識符直接添加到 LLM 詞表中，但這種方法會導致詞表大小隨用戶和物品數量線性增長。

借鑒序列量化（sequential quantization）技術，我們在設計雙重動態索引生成器式采用了分層架構，通過 M 個索引標記（每個標記有 N 種可能取值）的組合來表示每個用戶、物品。

例如，如圖 2 中雙重動態索引生成階段所示，物品 <item_5175> 可表示為 =<a2,b4,c5,d7>，其中 M=4，N=8。在該分層索引機制下，表達空間隨索引長度 M 指數級增長。

一個長度為 M 基數為 N 的分層索引理論上可以表示個不同的對象，而新引入的索引標記總數僅為 N×M。以物品為例，量化過程將以殘差方式執行 M 次，其數學表達如下：

最終，物品的語義索引可表示為： .

3.1.3 生成式序列推薦

為了讓 LLM 主干網絡理解序列推薦任務，我們通過自然語言指令將雙重動態索引與用戶交互序列進行聚合。具體而言，交互序列中的原始用戶索引和物品索引被替換為相應的雙重動態索引。由此，交互記錄被重組為一個由自然語言 Token 和雙重動態索引 Token 組成的異構序列。在我們的實現中，一條異構自然語言指令的示例如下：

“You are an expert in sequential recommendation. Based on the historical interaction sequence: , could you please predict the most suitable item for user ?”

記異構自然語言指令為，LLM 主干網絡首先將自然語言指令轉換為隱藏表示。然后，在 LLM 主干網絡的基礎上附加一個擴展的語言模型頭，用于將隱藏狀態投影到索引標記詞表，表示如下，

其中，是推薦結果的索引表示。若有需要，可以通過逆查找操作（inverse look-up）將索引轉換回原始物品 ID。基于異構指令提示的序列推薦任務可以自然地轉化為語言生成任務，其優化目標定義為負對數似然（Negative Log-Likelihood, NLL），具體如下：

其中，F 是由 LLM 主干網絡與擴展的語言模型頭組成的整體模型，B 表示批量大小（batch size），和分別為第個樣本的真實索引與自然語言指令。

3.2 多粒度 Token 調節器

給定動態索引和對應的文本特征，值得注意的是，和從兩個不同的角度描述了同一實體。因此，LLM 對動態索引的理解應當與對文本特征的理解相似。

如圖 3 所示，多粒度 Token 調節器模塊在索引層和標記層構建了對齊監督。我們提出的基于索引層對齊監督優化目標公式如下，

其中，為批量大小，和分別為動態索引和文本特征的 LLM 表示。具有相似表示的用戶/物品往往會分配相似的索引，這些索引共享一部分相同的標記。因此，我們提出了基于標記層對齊監督的優化目標，公式如下，

其中是第個量化器的輸入，是與索引標記對應的碼字。

3.3 高階交互模式挖掘

我們設計了高階用戶-物品交互模式的挖掘方法，使得 LLM 能夠捕捉這些隱式模式。具體而言，我們首先根據歷史行為構建相關的用戶集合數據。對于每個物品，與之有過歷史交互的用戶被記錄為一個關聯集合，其中表示用戶的交互序列。

作為序列推薦任務的對稱任務，我們設計了用戶預測任務，旨在挖掘用戶共同購買模式。LLM 主干網絡推薦系統通過提示多個歷史上與特定物品有過交互的用戶，然后指示其生成另一個喜歡相同物品的用戶的索引。下面是異構指令的示例：

“You are a professional recommendation system. The item is historically purchased by the following users: . Could you please predict another user who may be interested in this item?”

為了挖掘用戶偏好模式，我們還設計了基于用戶最近評論、搜索查詢和整體個人資料的指令調優任務。