文章目錄
- 1 前言
- 2 大模型/自然語言處理
- 2.1 FreeAL：在大模型時代實現無需人工的主動學習
- 2.2 COLD：中文攻擊性語言檢測基準
- 2.3 將詞匯的對比信息融入詞嵌入以實現反義詞-同義詞區分
- 2.4 LogRAG：基于檢索增強生成的半監督日志異常檢測
- 2.5 RankRAG：基于大模型的上下文排序與檢索增強生成的統一框架
- 2.6 解耦大語言模型中的記憶與推理能力
- 3 搜索/推薦/營銷
- 3.1 PLE：一種面向個性化推薦的新型多任務學習模型
- 3.2 MMoE：多任務學習中的任務關系建模
- 3.3 SLMRec：將大語言模型蒸餾至小型序列化推薦模型
- 3.4 基于分層樹搜索的大語言模型用戶終身行為建模
- 4 機器學習
- 4.1
- 5 深度學習
- 5.1 LogAnomaly：非結構化日志中序列異常與數值異常的無監督檢測
1 前言
??本篇博客主要總結一下博主看過的人工智能領域的一些前沿論文，期待與大家一起進行交流探討，列表中有超鏈接的是已經進行了精讀的完整筆記，沒有超鏈接的是進行了泛讀的論文，博主會快馬加鞭進行更新滴！請耐心等待博主嘿嘿，有什么比較好的論文也歡迎大家推薦給我啦，和大家一起學習共同進步！
2 大模型/自然語言處理
2.1 FreeAL：在大模型時代實現無需人工的主動學習
- 論文題目：FreeAL: Towards Human-Free Active Learning in the Era of Large Language Models
- 發表情況：2023-EMNLP
- 主要內容：
??傳統主動學習（AL）高度依賴人工篩選數據量大的未標注樣本并進行標注，導致應用成本高昂且效率低下，難以適應大語言模型（LLM）時代的需求。
??本文提出 FreeAL 框架，旨在完全消除人工參與。其核心創新在于利用LLM自身能力代替人工完成AL的兩個關鍵步驟：
??（1）自動樣本選擇：設計基于“自信度-不確定性”的評估框架，利用LLM預測的置信度和不確定性自動識別高價值樣本；
??（2）自動標注：直接使用LLM為選出的樣本生成偽標簽。
??在文本分類任務上的實驗表明，FreeAL 僅依賴LLM進行樣本選擇與標注，其性能即可接近需要人工參與的經典AL方法。這顯著降低了AL的應用門檻和成本，為實現全自動化、可擴展的主動學習提供了有效路徑。
2.2 COLD：中文攻擊性語言檢測基準
- 論文題目：COLD: A Benchmark for Chinese Offensive Language Detection
- 發表情況：2022-EMNLP
- 主要內容：
??中文攻擊性語言（如辱罵、仇恨言論）的檢測缺乏高質量、細粒度的公開基準，現有數據集存在標注不一致、場景覆蓋窄、缺乏上下文理解等問題，制約了中文內容安全技術的發展。本文提出首個綜合性中文攻擊性語言檢測基準 COLD，核心創新包括：多維度標注體系、上下文增強設計、多任務評估框架。
2.3 將詞匯的對比信息融入詞嵌入以實現反義詞-同義詞區分
- 論文題目：Integrating distributional lexical contrast into word embeddings for antonym synonym
- 發表情況：2016-ACL
- 主要內容：
??傳統詞嵌入模型主要依賴上下文分布相似性建模詞義，導致同義詞（synonym）與反義詞（antonym） 在向量空間中距離相近（如"熱"與"冷"余弦相似度高），無法有效區分語義對立關系，制約了詞義敏感型任務（如情感分析、文本推理）的性能。
??本文提出一種融合分布詞匯對比的詞嵌入框架，核心創新包括：
??（1）對比信號提取：基于語料庫統計，量化詞對間的分布對比強度（如共現模式差異）；
??（2）對比感知訓練：將對比強度作為約束項融入損失函數，強制反義詞對在向量空間中相互排斥，同時保持同義詞對聚集。
??在標準語義評測集及下游任務驗證中表明，同義詞識別性能保持穩定，未因對比約束而下降。
2.4 LogRAG：基于檢索增強生成的半監督日志異常檢測
- 論文題目：LogRAG: Semi-Supervised Log-based Anomaly Detection with Retrieval-Augmented Generation
- 發表情況：2024-ICWS
- 主要內容：
??現有日志異常檢測方法面臨兩大瓶頸：
??（1）嚴重依賴標注數據，而工業場景中異常樣本稀缺且標注成本高昂；
??（2）難以泛化到未知異常模式，傳統模型對未見過的故障類型檢測能力驟降。
??本文提出 LogRAG，首個融合檢索增強生成（RAG）的半監督日志分析框架，包含下面三個部分：
??（1）日志檢索器：從歷史未標注日志中動態檢索相似序列，構建上下文知識庫；
??（2）生成式檢測器：基于LLM解碼器，融合檢索到的上下文與實時日志流，生成異常分數與根因解釋；
??（3）半監督訓練：僅需少量標注樣本，通過對比學習對齊正常/異常模式表示。
??實驗結果表明，本文提出的模型較純監督模型在低標注場景下有一定提升，顯著增強泛化性，同時生成式框架同步輸出人類可讀的根因分析，助力運維決策。
2.5 RankRAG：基于大模型的上下文排序與檢索增強生成的統一框架
- 論文題目：RankRAG：Unifying Context Ranking with Retrieval-Augmented Generation in LLMs
- 發表情況：2024-NeurIPS
- 主要內容：
??現有檢索增強生成（RAG）系統存在關鍵缺陷：檢索模塊與生成模塊優化目標割裂，導致檢索結果與生成需求錯配（如返回冗余或低相關性上下文），嚴重制約大語言模型（LLM）的知識利用效率與答案準確性。
??本文提出 RankRAG，首創端到端可訓練的檢索-排序-生成統一框架，主要如下：
??（1）可調上下文排序器：基于LLM隱狀態動態評估檢索段落與生成任務的相關性，替代傳統不可微檢索；
??（2）生成導向聯合訓練：通過任務感知損失函數同步優化排序質量（提升關鍵段落權重）與生成準確性（利用精排上下文），實現兩模塊深度協同。
??實驗結果表明，RankRAG超越了所有的基線模型，并且各個組件也都有一定的效果，為高效可信的LLM知識增強提供新范式。
2.6 解耦大語言模型中的記憶與推理能力
- 論文題目：Disentangling Memory and Reasoning Ability in Large Language Models
- 發表情況：2025-ACL
- 主要內容：
??當前大語言模型（LLM）將事實記憶與邏輯推理能力耦合于同一參數網絡，導致兩大缺陷：
??（1）知識更新需全模型微調，時效性差且成本高昂；
??（2）推理過程受記憶干擾，易產生事實性幻覺（如混淆相似概念）。
??本文提出雙路徑解耦架構，對問答數據集所有應答句進行記憶/推理分類，并添加可學習的控制標記<memory>或<reason>。這種機制強制模型顯式執行知識檢索（記憶階段）與邏輯推演（推理階段），通過結構化引導規避混合處理導致的知識遺忘與幻覺風險，為構建可維護、高可靠的LLM提供新范式。
3 搜索/推薦/營銷
3.1 PLE：一種面向個性化推薦的新型多任務學習模型
- 論文題目：Progressive Layered Extraction (PLE): A Novel Multi-Task Learning (MTL) Model for Personalized Recommendations
- 發表情況：2020-RecSys
- 主要內容：
??本文針對個性化推薦系統中多任務學習（MTL）普遍存在的任務沖突和負遷移問題，提出了創新模型PLE。傳統共享底層參數的MTL模型在處理任務相關性差異大的復雜場景時效果受限。PLE的核心創新在于設計了一種分層專家結構，明確分離出共享專家層（用于提取跨任務共性知識）和任務專屬專家層（用于學習任務特定知識），從根源上減少參數沖突。同時，PLE引入了漸進式提取機制，在更高層級通過門控網絡動態、漸進地融合底層共享專家和任務專屬專家提取的信息，優化知識遷移路徑。
??實驗證明，在騰訊視頻推薦等實際工業場景中，PLE顯著優于如YouTube、MMoE等主流基線模型，特別是在任務差異大的情況下，有效提升了點擊率（CTR）和觀看時長等關鍵指標，成功緩解了負遷移問題，為構建高效魯棒的工業級推薦系統提供了強有力的多任務學習解決方案。
3.2 MMoE：多任務學習中的任務關系建模
- 論文題目：Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
- 發表情況：2018-SIGKDD
- 主要內容：
??傳統多任務學習（MTL）采用硬參數共享機制，所有任務強制共享底層網絡。當任務間相關性低或存在沖突時，易導致負遷移（任務相互干擾）和性能下降，制約模型在復雜場景（如推薦系統）的應用。
??本文提出 MMoE（Multi-gate Mixture-of-Experts） 模型，核心創新為：(1) 混合專家層（MoE）：構建多組獨立專家網絡（Expert），提取差異化特征；(2) 多門控機制（Multi-gate）：為每個任務設計獨立門控網絡（Gating Network），動態學習專家組合權重，實現任務自適應知識共享。
??最后在真實數據集（如大規模內容推薦）上驗證，MMoE顯著優于共享底層模型，成功緩解負遷移問題，為工業級多任務學習提供了高效解決方案。
3.3 SLMRec：將大語言模型蒸餾至小型序列化推薦模型
- 論文題目：SLMRec：Distilling Large Language Models into Small for Sequential Recommendation
- 發表情況：2025-ICLR
- 主要內容：
??生成式大語言模型（LLM）雖在序列化推薦任務中表現優異，但參數量龐大、推理延遲高，難以部署至資源受限場景（如移動端）。傳統蒸餾方法直接壓縮LLM，但會丟失其關鍵的序列模式建模能力，導致推薦效果顯著下降。
??本文提出 SLMRec，首創面向序列推薦的層級化蒸餾框架，主要如下：
??（1）行為模式蒸餾：通過對比學習對齊教師LLM與學生小模型的序列表示空間，保留用戶行為轉移規律；
??（2）偏好邏輯蒸餾：設計多監督感知策略，強制學生模型學習教師LLM對"下一交互項預測"的細粒度偏好邏輯（如商品關聯性、時序依賴）。
??實驗結果表明，在訓練效率上，相比原始LLMRec，訓練速度提升6.6倍（NVIDIA A100）；在推理性能上，服務響應速度提升8.0倍；在模型壓縮上，參數量減少87%的同時，在Amazon數據集上略有提升，因此為輕量級高精度推薦系統提供新范式。
3.4 基于分層樹搜索的大語言模型用戶終身行為建模
- 論文題目：Hierarchical Tree Search-based User Lifelong Behavior Modeling on Large Language Model
- 發表情況：2025-SIGIR
- 主要內容：
??現有大語言模型（LLM）處理用戶終身行為序列（如電商/社交平臺多年交互記錄）時面臨兩大瓶頸：
??（1）長序列建模低效：超長行為數據（>10,000項）超出LLM上下文窗口，直接截斷丟失關鍵歷史信息；
??（2）行為模式挖掘粗粒化：傳統方法難以動態識別跨時間尺度的細粒度興趣演化（如短期沖動購買 vs. 長期品牌忠誠）。
??本文提出基于層次樹搜索的用戶終身行為建模框架（HiT-LBM）該框架整合了分塊用戶行為提取（CUBE）和層次樹搜索興趣（HTS）兩個模塊，以捕捉用戶的多樣化興趣及其演變過程，為超長用戶行為建模提供新范式。
4 機器學習
4.1
5 深度學習
5.1 LogAnomaly：非結構化日志中序列異常與數值異常的無監督檢測
- 論文題目：LogAnomaly: Unsupervised Detection of Sequential and Quantitative Anomalies in Unstructured Logs
- 發表情況：2019-IJCAI
- 主要內容：
??工業系統日志普遍存在非結構化特性（如文本描述+動態參數），傳統異常檢測方法難以同時捕捉日志序列模式異常（如流程違規）和參數數值異常（如超閾值波動），且依賴人工標注或預定義規則，擴展性差。
??本文提出首個無監督雙流檢測框架LogAnomaly，創新如下：
??（1）語義序列建模：通過語言模型提取日志模板的語義特征，學習正常執行序列模式；
??（2）數值模式建模：設計定量模板 動態解析日志參數，統計關鍵數值分布（如請求延遲、錯誤碼頻次）；
??（3）聯合預測任務：融合語義與數值特征進行序列預測，偏差超閾值即判為異常。
??在BGL、HDFS等開源數據集上進行實驗驗證，均超過了現有的日志異常檢測方法，并有效降低了誤報率，為工業運維提供高效的日志監控方案。
