GPTSecurity是一個涵蓋了前沿學術研究和實踐經驗分享的社區，集成了生成預訓練Transformer（GPT）、人工智能生成內容（AIGC）以及大語言模型（LLM）等安全領域應用的知識。在這里，您可以找到關于GPT/AIGC/LLM最新的研究論文、博客文章、實用的工具和預設指令（Prompts）。現為了更好地知悉近一周的貢獻內容，現總結如下。

Security Papers

1. 通過大語言模型從協議實現中推斷狀態機

簡介：狀態機在提高協議分析效率和發現漏洞方面至關重要。然而，傳統方法在分析網絡協議實現時存在覆蓋不足和處理復雜性困難的問題。研究人員提出了一種基于大語言模型（LLMs）的創新狀態機推斷方法，該方法通過文本嵌入技術分析協議代碼，并利用提示工程識別狀態機。評估結果顯示，該方法的準確率超過90%，顯著提高了代碼覆蓋率，為協議安全分析帶來了新的突破。

鏈接：

https://arxiv.org/pdf/2405.00393

2. HalluVault：一種新穎的邏輯編程輔助的變異測試框架，用于檢測大語言模型中的事實沖突幻覺

簡介：大語言模型（LLMs）在語言處理方面取得了重大突破，但仍面臨安全性、隱私和生成不準確信息的問題，即幻覺。其中，事實沖突幻覺（FCH）尤為棘手，因為LLMs生成的內容可能與既定事實相矛盾。研究人員提出了一種基于邏輯編程的方法，通過變異測試來檢測FCH。該方法從維基百科等來源收集數據，創建多樣化測試用例，并使用語義評估機制驗證LLMs的一致性。測試結果表明，幻覺率在24.7%到59.8%之間，這揭示了LLMs在處理時間概念、分布外知識和邏輯推理方面所面臨的挑戰。這強調了在社區內持續合作解決LLM幻覺問題的必要性。

鏈接：

https://arxiv.org/pdf/2405.00648

3. 代碼的LLM安全衛士

簡介：許多開發者依賴大語言模型（LLMs）來促進軟件開發。然而，這些模型在安全領域的表現能力有限。研究人員引入了LLMSecGuard，這是一個通過靜態代碼分析器與LLMs的協同作用來增強代碼安全性的框架。LLMSecGuard是開源的，旨在為實踐者提供比LLMs最初生成的代碼更安全的解決方案。它還對LLMs進行基準測試，提供關于這些模型不斷發展的安全特性的寶貴見解。

鏈接：

https://arxiv.org/pdf/2405.01103

4. 利用RAG驅動的精確性克服LLM在咖啡葉病治理中的挑戰

簡介：本研究提出了一個利用YOLOv8和檢索增強生成（RAG）技術的AI驅動精準農業系統，旨在解決影響卡納塔克邦咖啡生產部門的疾病挑戰。該系統結合目標檢測技術和語言模型，克服了大語言模型（LLMs）固有的限制，同時解決了LLMs中的幻覺問題，并引入動態疾病識別與補救策略。通過實時監控、數據集擴展和組織合作，該系統適應不同的農業環境，旨在實現可持續和環保的農業，減少對農藥的依賴，推動食品生產的可持續性和技術進步。

鏈接：

https://arxiv.org/pdf/2405.01310

5. 關于大語言模型在自動化程序修復中的應用的系統文獻綜述

簡介：自動化程序修復（APR）旨在通過大語言模型（LLMs）減少手動調試，從而提高軟件開發和維護的效率。本研究首次系統性地回顧了2020至2024年間LLMs在APR中的應用，分析了127篇相關論文，總結了LLMs的部署策略、特定修復場景，并討論了集成LLMs的關鍵問題。研究人員指出了未來研究的挑戰和指導方針，為APR領域的研究者提供了全面的研究成果和未來研究方向。

鏈接：

https://arxiv.org/pdf/2405.01466

6. 研究多輪LLM交互中的提示泄露效應和黑盒防御

簡介：本文研究了大語言模型（LLMs）在多輪交互中的提示泄露問題及其緩解策略。通過對不同領域中閉源和開源LLMs的分析，發現多輪交互中的平均攻擊成功率高達86.2%，某些模型如GPT-4和Claude-1.3的泄露率甚至達到99%。研究還發現，黑盒LLMs在不同領域的泄露易感性不同，例如Gemini在新聞領域比在醫療領域更容易泄露上下文知識。實驗評估了六種黑盒防御策略，包括RAG場景中的查詢重寫器。盡管提出了多層防御組合，黑盒LLMs的攻擊成功率仍為5.3%，顯示LLM安全性研究還有提升空間。

鏈接：

https://arxiv.org/pdf/2404.16251

編輯：小椰風