Lines of Thought in Large Language Models

《Lines of Thought in Large Language Models》（大語言模型中的思維鏈）聚焦于分析大語言模型（LLMs）在生成文本時，其內部向量軌跡的統計特性。

核心目標是揭示LLMs復雜的“思維過程”（即文本生成時的隱藏狀態變化）能否被簡化為低維流形上的隨機過程，并通過少量參數刻畫。

一、核心實現：低維流形建模與隨機微分方程（SDE）擬合

1. 思維鏈的數學定義

• 向量軌跡（Lines of Thought）：
  當LLM處理輸入文本（如提示詞）時，每個Transformer層會將輸入向量（詞嵌入）逐步轉換為輸出向量，形成一條高維空間中的軌跡 h