隨著 Gemini-Diffusion，Seed-Diffusion 等擴散大語言模型（DLLM）的發布，這一領域成為了工業界和學術界的熱門方向。但是，當前 DLLM 存在著在推理時必須采用預設固定長度的限制，對于不同任務都需要專門調整才能達到最優效果。
為了解決這一本質的問題，香港中文大學 MMLab，上海 AI 實驗室等提出 DAEDAL，賦予 DLLM 可以根據問題的具體情況自主調整回答長度的能力，彌補了 DLLM 與自回歸 LLM 的關鍵差距，為更靈活、高效、強大的擴散大語言模型打下了基石。
論文標題：Beyond Fixed: Variable-Length Denoising for Diffusion Large Language Models
論文地址：https://arxiv.org/abs/2508.00819
代碼地址：https://github.com/Li-Jinsong/DAEDAL
DAEDAL 作為一種 Training Free 的去噪策略，從一個統一且很短的初始長度開始，讓模型根據自己的需求在生成中調節長度，動態擴展，達到了和現有去噪策略在每個評測基準上精心調整生成長度得到的最佳性能相當的表現，有時甚至更勝一籌。
DAEDAL 介紹
擴散大語言模型（DLLM）潛力巨大，但其現有推理流程存在一個關鍵的問題：需要預定義的，固定的生成長度。與能夠邊思考邊決定 “說” 多少的人類和自回歸模型不同，現有的 DLLM 需要預先設定確切的輸出長度。這導致了一個兩難的困境：設置太短，模型在復雜問題上難以發揮全部實力，可能導致做錯；設置太長，則會浪費大量的計算資源，同時，實驗中還發現過長的生成長度可能導致性能下降。
作者在探索中發現，這一問題的解決方案就蘊藏在模型自身之中。DLLM 在生成時會不斷地全局規劃其整體輸出，而它的預測置信度正是其內部狀態的強大信號。作者發現了兩種關鍵信號：
DLLM 在序列末端生成序列結束符 (EOS) 的意愿直接反映了其對全局預算的規劃。當預設長度充足時，模型會自信地在末尾規劃出結束區域，從而高置信度地預測 EOS。反之，當長度不足時，模型會試圖利用所有可用空間來完成核心內容，因而抑制了在末尾生成 EOS 的置信度。
在去噪過程中，對某個特定詞元的極低預測置信度，則可作為一種局部信號，這不僅代表了模型對該詞元的不確定性，更深層次地，它表明當前的局部上下文過于受限，不足以支撐一個復雜的邏輯步驟或細節的展開，或是需要插入空間對過去生成的內容進行補充和修正。
DAEDAL 使用統一的短初始長度即可取得強大性能。 實驗結果清晰地展示了 DAEDAL 的優越性能。盡管 DAEDAL 默認從一個較短的初始長度開始，但其兩階段的長度調整與擴展機制，不僅使其性能顯著優于使用相同短初始長度的基線方法，更能達到與基線方法在所有固定長度中精心調優后的峰值性能相當、甚至在某些情況下超越后者的水平。
這一發現凸顯了 DAEDAL 的有效性，并揭示了固定長度范式的內在不便之處，因為基線方法的最佳長度因不同基準而異，這更強調了動態長度適應的必要性。為了直觀展示這種動態適應性，圖 3 對比了 DAEDAL 所用總生成長度（N_token）的分布與基線方法所用的單一最佳長度。
DAEDAL 能自適應地找到最佳生成長度。 進一步的分析表明，DAEDAL 能智能地預估并生成恰當長度的回答。在多數情況下，DAEDAL 產生的有效詞元數（E_token）與基線方法在最佳性能配置下的有效詞元數相當。這表明 DAEDAL 能自適應地找到模型內在的、針對特定任務所需詞元長度的 “舒適點”。基線方法的行為也印證了這一點：當設置的長度過長時，即使有效詞元數可能繼續增加，性能反而可能會下降。DAEDAL 的自適應特性有效避免了這種因過度擴展導致的性能下降。
DAEDAL 能夠提升計算資源利用率。在取得優越準確率的同時，DAEDAL 生成的總詞元數（N_token）通常低于基線方法在最佳性能 setting 下的總詞元數。相近的有效詞元數和更低的總詞元數帶來了更高的有效詞元利用率（E_ratio）。這大大地提升了計算資源的利用率。
總結
DAEDAL 通過其初始長度調整（Initial Length Adjustment）和迭代式掩碼插入（Iterative Mask Insertion）機制，不僅在多個基準上取得了與精心調優的固定長度基線相當甚至更優的性能，還能為每個任務自適應地分配合適的長度。這使得模型在性能和計算效率上都取得了實質性的提升。DAEDA 彌補了擴散大語言模型與自回歸大語言模型在核心能力上的一個關鍵差距，為更靈活、高效、強大的擴散大語言模型打下了基石。
作者介紹
本文第一作者是香港中文大學 MMLab 的博士生李勁松，導師林達華教授，主要研究方向是多模態大模型和大語言模型。曾在 NeurIPS，ECCV，ACL 等頂級會議發表多篇論文，Google 學術引用超 1400 次。
)