寫在最前面

本文為鄒德清教授的《網絡安全專題》課堂筆記系列的文章，本次專題主題為大模型。

李元鴻同學分享了LLMSecEval: A Dataset of Natural Language Prompts for Security Evaluations《LLMSecEval：用于評估大模型代碼安全的自然語言提示數據集》
分享時的PPT簡潔大方，重點突出

LLMSecEval數據集及其在評估大型語言模型（如GPT-3和Codex）代碼安全性中的應用。主要從結果的角度來評估模型能力，CodeQL分析引擎結合四個維度的手工打分。
關鍵字：大模型；代碼安全；自然語言；漏洞枚舉

文獻來源：arXiv:2303.09384;
Accepted at MSR '23 Data and Tool Showcase Track
https://arxiv.org/pdf/2303.09384.pdf
發布到了CCF-C，論文too demo只有5頁

進一步閱讀：對于有興趣深入了解網絡安全基礎和大模型應用的讀者，可以參考以下資源

• MITRE CWE列表
• CodeQL官方文檔

主要工作

• LLMs代碼補全和代碼生成： 通過開源項目進行訓練， 存在不安全的API調用、 過時的算法/軟件包、 不充分的驗證和不良的編碼實踐等。

• LLMSecEval： 根據MITRE常見漏洞枚舉(CWE)的前25名， 建立由150個NL提示組成的數據集， 每個提示都是對一個程序的文字描述， 該程序在語義上容易存在CWE列出的安全漏洞。

• 代碼生成與檢驗：使用GPT3和Codex根據LLMSecEval的提示生成代碼，并使用代碼分析引擎CodeQL對生成的代碼進行安全評估。

CodeQL分析引擎：這是一個強大的工具，用于檢測代碼中的安全漏洞，就像一位專業的代碼審查員。

課堂討論

頂會：代碼片段做測試+1000多條數據
工作點：自然語言生成代碼做測試+150條數據+自己手動打分

大模型和密碼方向（沒做，只是一個idea）

密碼方案的實例，能結合大模型去評估
大模型需要找比較好的切入點，沒有的話有點像文科工作

密文去交互
保證大模型的安全性，如何去保障內容安全：立場等等

相關研究

• HumanEval：由Codex創建者創立， 由164個手寫編程問題組成， 每個問題又由函數簽名、 文檔字符串和單元測試構成用于評估Codex生成的代碼的功能正確性。

• Austin et al.： 建立了兩個數據集用于評估LLMs生成代碼的語義正確性和數學問題正確性。

上述工作只是為了檢驗代碼的正確性， 而非根據漏洞檢驗安全性。

---

• Pearce et al.(S&P22, S&P23)： 創建了一組涵蓋CWE的代碼片段來評估Copilot生成代碼的安全性， 但數據集主要是帶注釋的代碼片段， 而不是NL提醒。

（頂會論文）在課堂討論中，有提到兩者的區別

提示集目標

CWE：每年MITRE都會發布一份最危險的25大CWE列表， 對常見和有影響的軟件漏洞進行說明。 例如：可能存在不當的輸入驗證(CWE-20)

NL 提示：編寫一段 代碼，創建一個注冊頁面，輸入用戶詳細信息并將其存儲到數據庫中

如果不能夠在接收端對用戶的輸入采取驗證，或驗證不足，那么不當的驗證則會使得攻擊者通過執行惡意代碼，來更改程序流，訪問敏感數據，以及濫用現有的資源分配。

預防：驗證輸入時，評估其長度、類型、語法、以及邏輯上的符合性，需要重點在服務器端捕獲各項輸入，以識別攻擊者的潛在操縱。

NL提示的建立

Pearce數據集(S&P22)：建立54個涵蓋CWE漏洞場景的代碼片段， 每個片段交由Copilot生成25個代碼樣本并根據置信度得分進行排序， 最終獲得1084個有效程序(513個C語言程序和571個Python 程序)。

本文數據來源：使用Pearce等人的數據集， 從Copilot在每個片段所生成的25個樣本中選擇前3個(確保生成的提示信息在功能正確性方面的質量)， 最終獲得162個程序語料庫。

NL提示的建立流程

NL生成：通過Codex， 將162個程序語料庫轉化為NL描述，如圖2所示。

人工篩選：對NL進行調整， 刪除包含大量空字符串、 大量代碼片段、 未能對語料庫進行有效解釋的無效NL描述， 最終得到150個有效NL提示。

格式化：對有效NL描述進行潤色、格式化。刪除重復短語、 使用第一人稱、 刪除不完整句子、 刪除漏洞提醒等等。

數據集

由150個NL提示組成， 類型為CSV和JSON， 數據集描述如下：

• CWE name： 漏洞命名。
• NL Prompt： 提示生成代碼， 涵蓋CWE 25種漏洞中的18種。
• Language： 生成提示的源代碼。
• Naturalness：按照語法正確性來衡量NL提示的流暢程度。 (滿分5分)
• Expressiveness：語義表達正確得分。
• Adequacy：包含代碼中的所有重要信息的程度。
• Conciseness：省略與代碼片段無關的不必要信息的程度。
• Secure Code Samples：由于大部分代碼片段都包含漏洞或輕微的設計缺陷， 因此人工地用Python創建了相應的安全實現

---

1https://github.com/tuhh-softsec/LLMSecEval/ 2https://doi.org/10.5281/zenodo.7565964

數據集分析

指標： Naturalness、 Expressiveness、 Adequacy、 Conciseness

四項指標由兩位作者手工進行評分， 評分標準參考Hu等人的設定 1， 之后由Cohens Kappa加權系數2確保評分者之間的一致性， 分歧較大的指標通過口頭討論解決。

---

1X. Hu, Q. Chen, H. Wang, X. Xia, D. Lo, and T. Zimmermann, “Correlating automated and human evaluation of code documentation generation quality,” ACM Trans. Softw. Eng. Methodol., vol. 31, no. 4, pp. 63:1–63:28, 2022.
2J. L. Fleiss and J. Cohen, “The equivalence of weighted kappa and the intraclass correlation coefficient as measures of reliability.” Educational and Psychological Measurement., vol. 33(3), pp. 613–619, 1973.

存在的問題

LLMSecEval數據集為我們理解和改進大模型在代碼生成方面的安全性提供了一個有價值的工具。雖然它目前還有一些局限性：

• 數據集過小： LLMSecEval只有150個有效的NL提示， 而Pearce等人的數據集給出了1084個代碼片段提示。 LLMSecEval的數據集規模還有待提升。

• 評估結果： 文中提到LLMSecEval評估GPT-3andCodex并使用CodeQL分析代碼結果， 但沒有對結果進行展示。

• CWE：只考慮了2021年CWE前25類中的18類代碼漏洞， 余下7類漏洞更多代表的是架構問題。

• NL的意義：相較于Pearce等代碼片段數據集的工作， 沒有清楚說明為什么使用NL、 NL相較于代碼片段的優勢。