[1] WANG C, ZHAO J, JIAO L, 等. When Large Language Models Meet Evolutionary Algorithms: Potential Enhancements and Challenges[A/OL]. arXiv, 2025[2025-08-07]. http://arxiv.org/abs/2401.10510. DOI:10.48550/arXiv.2401.10510.
這篇文章《當大型語言模型遇到進化算法:潛在增強與挑戰》探討了大型語言模型(LLMs)和進化算法(EAs)之間的概念相似性以及它們如何相互增強。文章主要內容包括:
-
概念相似性分析:文章從微觀層面分析了LLMs和EAs之間的五個關鍵概念對應關系:
- 標記表示與個體表示
- 位置編碼與適應度塑造
- 位置嵌入與選擇
- Transformer塊與繁殖
- 模型訓練與參數適應
-
進化微調:文章討論了在黑盒場景下使用進化算法微調LLMs的方法,特別是進化提示調整和自我調整技術,這些技術不需要訪問模型內部信息,成本較低。
-
LLM增強的進化算法:文章探討了如何利用LLMs作為進化算法中的繁殖和變異算子,通過自然語言描述來表示復雜的個體,如路徑、數學表達式、代碼等。
-
挑戰與未來方向:文章指出了當前研究面臨的挑戰,包括資源管理、災難性遺忘、適應性評估和安全問題,并提出了未來研究方向。
文章的核心觀點是,LLMs和EAs在處理序列數據方面具有共同的方向性和集體性特征,通過理解它們之間的概念相似性,可以促進兩個領域的技術進步和創新。這種交叉研究有望創造出能夠從已有知識中學習同時不斷探索新知識的人工智能代理。
在論文《當大型語言模型遇到進化算法:潛在增強與挑戰》中,圖1(Fig. 1) 主要用于說明大型語言模型(LLMs)與進化算法(EAs)在概念結構上的對應關系。以下是該圖的核心內容解析:
🧩 圖1的主要內容概述
圖1通過結構化對比圖,展示了LLMs和EAs在五個關鍵概念上的相似性,旨在揭示兩者在機制設計上的內在聯系。這些對應關系如下:
大型語言模型(LLMs) | 進化算法(EAs) | 對應說明 |
---|---|---|
標記表示(Token Representation) | 個體表示(Individual Representation) | LLM中的每個token對應EA中的一個個體,代表基本的信息單元 |
位置編碼(Positional Encoding) | 適應度塑造(Fitness Shaping) | 位置信息為token賦予順序意義,類似EA中適應度函數塑造個體優劣 |
位置嵌入(Positional Embedding) | 選擇(Selection) | 嵌入機制決定哪些token更重要,類似于EA中選擇機制決定哪些個體進入下一代 |
Transformer塊(Transformer Block) | 繁殖(Reproduction) | Transformer通過自注意力機制處理token間關系,類似EA中的交叉與變異操作 |
模型訓練(Model Training) | 參數適應(Parameter Adaptation) | LLM通過訓練優化權重,EA通過迭代優化種群參數 |
🎯 圖1的學術意義
-
建立跨領域概念橋梁:
- 圖1首次系統性地將LLMs和EAs的核心組件進行映射,為兩個領域的研究者提供了統一的理解框架。
-
啟發交叉研究思路:
- 通過揭示LLMs與EAs在結構上的相似性,圖1為將進化算法引入LLM優化(如進化微調)和用LLMs增強進化算法(如用語言模型生成變異策略)提供了理論依據。
-
支持后續實驗設計:
- 圖1中的概念對應關系為論文中后續的實驗設計(如進化提示調整、LLM作為變異算子等)奠定了基礎。
Large language model-enhanced evolutionary algorithm
傳統的進化算法中,個體通常以向量、樹結構、圖等形式表示。圖5展示了一種更靈活的表示方法:用自然語言描述個體。
例如:
- 路徑規劃問題:個體可以表示為“從A出發,經過B和C,最終到達D的最短路徑”。
- 數學表達式優化:個體可以描述為“一個用于擬合數據的二次多項式”。
- 程序生成:個體可以是一段自然語言描述的代碼邏輯。
表4總結了LLM增強的進化算法,其中LLMs被用作繁殖(reproduction)和變異(mutation)算子
。這些方法通過基于LLM的進化算子來維持種群,以尋找復雜現實世界問題的多樣化解決方案。
LLM-based reproduction 是指利用LLMs從父代種群中生成后代(offspring)的過程。這一過程的核心是提示(prompt),提示通常包含以下三部分:
- 問題描述(可選):提供問題的背景信息,幫助LLM理解任務目標。
- 父代種群(parent population):
- 任務指令(task instructions):
LLMs根據這些提示,應用任務指令到父代種群上,生成新的后代個體。這一過程完全在語言空間中完成,無需訪問模型的內部參數,因此成本較低。
LLM-based reproduction 的優勢
- 語言空間操作:LLMs直接在自然語言空間中生成后代,無需訪問模型的內部參數(如權重或梯度)。
- 成本節約:傳統進化算法可能需要大量計算資源(如梯度計算、參數優化),而LLM-based reproduction僅需文本生成,顯著降低成本。
- 靈活性:適用于多種問題類型(如程序生成、架構設計、路徑規劃等),只需調整提示即可適應不同任務。
大型語言模型(LLMs)作為變異算子(mutation operator):
例如:“父代代碼:def add(a, b): return a + b。”
例如:“將上述代碼修改為支持三個參數的加法函數。”