抽象

網絡釣魚攻擊仍然是現代網絡安全的重大威脅，因為它們成功地欺騙了人類和旨在保護他們的防御機制。傳統的檢測系統主要關注用戶在收件箱中看不到的電子郵件元數據。此外，這些系統還難以應對網絡釣魚電子郵件，有經驗的用戶通常可以僅通過文本憑經驗來識別網絡釣魚電子郵件。本文研究了大型語言模型 （LLM） 通過關注其意圖來檢測這些電子郵件的實際潛力。除了網絡釣魚電子郵件的二元分類之外，本白皮書還引入了一種意圖類型分類法，該分類法由 LLM作，用于將電子郵件分類為不同的類別，從而生成可作的威脅信息。為了促進我們的工作，我們已將公開可用的數據集整理成一個自定義數據集，其中包含合法電子郵件和網絡釣魚電子郵件的組合。我們的結果表明，現有的 LLM 能夠檢測和分類網絡釣魚電子郵件，突顯了它們在該領域的潛力。

索引術語：

網絡釣魚是一種眾所周知的攻擊技術，至少可以追溯到 1990 年代[1].隨著互聯網的使用不斷增長，在線訪問的資產也越來越多。在當今的數字世界中，大多數企業和組織都連接到互聯網，這導致惡意行為者可以利用大量的電子郵件通信。

網絡釣魚電子郵件仍然是一種普遍的威脅[2]，因為大多數成功的網絡攻擊都源于網絡釣魚活動[3,4].許多針對網絡釣魚攻擊的電子郵件防御機制側重于元數據、有關所用協議的信息以及電子郵件中除主題和正文文本字段之外的數據[3].盡管這些方法已經成功地檢測了網絡釣魚電子郵件，但有經驗或訓練有素的用戶只需閱讀文本即可輕松識別為網絡釣魚的其他電子郵件仍然逃避檢測。考慮到這一點，我們的假設如下：

通過處理電子郵件的語言和意圖，LLM 可以以補充現有基于元數據的檢測技術的方式檢測網絡釣魚。

大型語言模型?（LLM） 已被證明展示了這一領域的知識，本文探討了 LLM 在多大程度上可以作為“有經驗的用戶”來檢測網絡釣魚意圖，無論是利用固有知識還是通過使用一個或多個示例的上下文學習。

存在不同類型的網絡釣魚電子郵件，每一種都有不同的意圖，以各種 MITRE ATT&CK 技術為特征[5].例如，無針對性大規模網絡釣魚活動背后的意圖通常與有針對性的魚叉式網絡釣魚電子郵件的意圖大不相同，后者包含有關受害者的個性化信息。本文探討了情境學習和網絡釣魚類別，解決了以下五個研究問題：

（RQ1）LLM 可以在多大程度上推斷電子郵件中的意圖并將其用作網絡釣魚檢測的因素？

（RQ2）LLM 中固有的知識在多大程度上，以及小樣本學習設置中的示例在多大程度上有助于檢測？

（RQ3）LLM 能夠在多大程度上解釋和證明他們的推理？

（RQ4）LLM 可以在多大程度上區分不同類型的網絡釣魚類別？

（RQ5）網絡釣魚類別提供的上下文知識在多大程度上有助于識別網絡釣魚電子郵件？

除了解決研究問題外，該論文的貢獻如下。 基于 MITRE ATT&CK 框架[5]中，我們填充網絡釣魚意圖的分類法，并使用它來豐富精選數據集https://github.com/Rub3cula/Datasets/blob/main/100EmailsDataset.csv網絡釣魚電子郵件。然后，我們設計一組提示，并在兩個設置下評估它們。在零樣本方法中，提示僅與電子郵件一起顯示，沒有任何所需輸出的示例。在少數樣本方法中，提示包括與正確標簽配對的示例電子郵件，以指導模型。本研究評估了多個 LLM，以評估它們在檢測網絡釣魚意圖方面的有效性，揭示了使用上下文學習時跨模型的結果喜憂參半。

在網絡安全方面，對網絡釣魚攻擊的防御大致可分為兩種類型：技術防御和非技術防御[6].非技術防御主要側重于通過培訓課程和模擬網絡釣魚測試等方法教育潛在目標（通常是電子郵件收件人）。這些舉措旨在通過教個人如何識別和應對網絡釣魚嘗試來建立用戶意識和彈性。相比之下，技術防御在通過自動檢測和預防機制保護電子郵件平臺方面發揮著關鍵作用。

在[8]，作者認為 LLM 可以減少創建高質量、有針對性的網絡釣魚電子郵件所需的工作量和技能障礙。研究表明，通過使用 LLM 通過一種稱為提示工程的方法精心制作網絡釣魚電子郵件，可以規避某些檢測機制，該方法涉及調整提示以產生特定的響應或結果。 本文建議限制高級模型的功能或實現可追溯性以防止它們在惡意環境中被濫用。此外，作者還提出了一種基于 LLM 的防御系統，其中 LLM 本身可以檢測網絡釣魚電子郵件，鑒于 LLM 將繼續改進的有力指標，這是一項至關重要的發展，可能會實現更復雜的網絡釣魚攻擊活動。網絡釣魚檢測系統應考慮快速繞過內容過濾器的提示工程能力[8].

作者在[9]提供實證證據，證明使用 LLM 創建網絡釣魚電子郵件比從在線檔案中收集的現有網絡釣魚電子郵件具有更大的激勵成功率。盡管 LLM 的性能并未優于使用框架手動編寫的電子郵件，但由 LLM 和人工提供支持的網絡釣魚電子郵件取得了最佳效果。作者使用魚叉式網絡釣魚技術開發了網絡釣魚電子郵件，整合了針對特定目標量身定制的上下文相關信息。盡管該論文的主要目標是研究此類電子郵件的結構，但它也提出了網絡釣魚檢測中 LLM 的方法。特別是，作者強調了分析通信意圖作為合法營銷內容和惡意網絡釣魚嘗試之間的潛在區別的重要性。此外[8]展示了 LLM 如何創建經濟高效且可擴展的魚叉式網絡釣魚活動。

除了主題行和正文內容外，公開可用的網絡釣魚數據集通常還包括其他元數據，例如 IP 地址和身份驗證協議日志。現有的檢測算法經常利用發件人身份驗證機制，例如 SPF、DKIM 和 DMARC[10]— 通常由基于機器學習的傳統電子郵件安全解決方案采用。例如，SpamAssassin 和反網絡釣魚工作組 （APWG） 等數據集提供 IP 地址、域信息和身份驗證結果。這些數據在專注于分析電子郵件整體特征的研究中起著至關重要的作用。此外，許多網絡釣魚電子郵件類似于結構不佳的垃圾郵件，使用戶更容易識別和忽略它們。

我們的論文主要側重于通過僅檢查主題行和正文內容來分析電子郵件的意圖，從而模擬典型用戶感知電子郵件的方式。在傳統檢測機制失效的情況下，這種方法特別有價值，它允許網絡釣魚郵件繞過安全篩選器并到達用戶的收件箱。

聊天垃圾郵件檢測器[11]是最近的一個例子，其中 LLM 在網絡釣魚檢測方面表現出強大的性能，利用最近的數據集和真實世界的電子郵件實現了 99.7% 的準確率。這明顯優于基線系統和其他傳統模型。盡管取得了這些可喜的結果，但該方法并不打算完全取代現有解決方案。大規模部署商業 LLM（例如 OpenAI 的 GPT-4o）仍然成本高昂，并且可能不符合隱私最佳實踐[12]. 非技術方法側重于教育用戶如何識別網絡釣魚電子郵件[13].許多研究利用公開可用的數據集來進行實驗。這些數據集中包含的許多網絡釣魚電子郵件可能被視為簡單的嘗試;但是，由于電子郵件安全配置不同，它們仍偶爾會出現在用戶的收件箱中[15]. 最近，LLM 領域取得了重大進展，尤其是在文本推理任務和零樣本學習方面[14].ChatSpamDetector 使用提示來指示 LLM 如何有效地執行檢測任務。

這項工作中使用的分類法源自用于網絡釣魚的 MITRE ATT&CK 技術 T1566[16]，如表 I 所示。我們采用 ATT&CK 定義的子技術為三個不同的類別，重點關注攻擊者如何進行網絡釣魚嘗試。這種分類支持我們對網絡釣魚電子郵件中意圖的分析，尤其是在基于 LLM 的檢測背景下。通過強調投放向量而不是歸因或有效負載分析，我們對這種分類法的使用與研究 LLM 如何解釋電子郵件背后的目的的目標一致。為了概括分類并反映對各種網絡釣魚場景（包括涉及 LLM 生成內容的場景）的更廣泛適用性，我們在類別名稱中省略了術語“矛式”，同時保留了攻擊媒介之間的核心區別。

通過鏈接進行網絡釣魚是指旨在引誘用戶點擊鏈接或訪問網站的網絡釣魚電子郵件。方法可能包括使用縮短的 URL、與合法域非常相似但包含細微變化的鏈接（例如，單個更改的字符）或混淆、不可點擊的鏈接。例如，可能會使用文本替換（例如“（dot）com”代替“.com”來偽裝 URL，以欺騙收件人在瀏覽器中手動輸入地址。總體而言，此類別包括所有試圖將用戶重定向到惡意網站的網絡釣魚嘗試，無論是通過直接點擊還是更間接的方法。

通過附件網絡釣魚是指通過附加到電子郵件的文件傳遞惡意代碼的方法。這種方法依賴于受害者下載附件并與之交互以啟動網絡感染。此類別適用于附加惡意文件，并且攻擊者旨在讓受害者打開它的情況。需要注意的是，本研究中進行的實驗僅關注電子郵件正文和主題內的文本字段。因此，附件未包含在系統輸入中。因此，系統的結果完全基于文本字段，而無權訪問實際附件。

通過服務進行網絡釣魚是指更廣泛的網絡釣魚攻擊類別，它利用傳統電子郵件收件箱之外的媒介，這意味著威脅并非來自電子郵件本身的鏈接或附件。相反，攻擊者通常試圖通過安全性較低且監控較少的渠道（例如個人電話號碼、短信甚至實體郵件）重定向受害者進行互動。這些電子郵件通常包含足夠的信息來提示收件人采取進一步行動，例如發起匯款、安裝軟件或通過第三方服務繼續互動。此類別重點介紹利用外部通信渠道繞過基于電子郵件的傳統防御措施的網絡釣魚技術。

實驗中使用的主要數據集包括從三個公開可用的大型電子郵件數據集中手動選擇的電子郵件：LING、Nazario 和 Enron。 網絡釣魚電子郵件選自 LING 和 Nazario 數據集，合法電子郵件來自安然數據集。選擇這些數據集是因為它們的受歡迎程度和對隱私的合規性，尤其是對于良性電子郵件。標記的數據集是從 Kaggle 下載的[15].

在最初的實驗中，據觀察，當使用提及公司或其產品的具體引用的 Enron 電子郵件時，LLM 有時會將它們識別為來自 Enron 數據集。雖然很有趣，但這可能會將重點從電子郵件意圖上轉移開，并導致結果出現偏差。為了保持對檢測意圖的關注，此類電子郵件被過濾掉。

經過初步實驗，創建了包含 100 封手動標記電子郵件的驗證集，以確保在最終測試階段對分類和分類進行公正評估。此驗證集遵循與第一個數據集相同的標記架構，但在項目結束之前一直未使用，以最大限度地減少訓練中的任何偏差。

這項研究整合了具有不同來源、大小和復雜程度的數據集，以對 LLM 在現實世界中檢測網絡釣魚電子郵件的能力進行有力的評估。

為了標準化數據進行分析，我們按以下方式處理數據集中的數據：

1. 1.?

   電子郵件組件的提取：我們從所有數據集中提取了文本字段，特別是作為標題的“主題”字段和作為每封電子郵件的主要文本內容的“正文”字段。

2. 2.?

   二進制標簽識別：在每個數據集中，電子郵件都使用二進制標簽進行標記，其中值 1 表示網絡釣魚電子郵件，0 表示合法郵件。

3. 3.?

   手動標記和分類：對于這兩個自定義數據集，所有帶有網絡釣魚標簽的電子郵件都根據分類中的相應意圖類別進行了手動分類。

4. 4.?

   過濾掉數據集偏差：在實驗期間，一些電子郵件（如來自 Enron 數據集的電子郵件）具有明確的指示符，使 LLM 能夠識別文本。對于這些情況和其他示例（例如數據集中的數據格式錯誤），已刪除并替換電子郵件。

在 zero-shot 實驗中，提示的構造沒有提供網絡釣魚或合法電子郵件的具體示例。相反，它們依賴于強調關鍵特征的描述性指導來識別。分類提示仍然相對簡單，而分類提示包含更詳細的標準。這種零樣本方法利用模型的預訓練知識，要求它僅根據其內部理解來評估電子郵件是否為惡意電子郵件，而無需明確示例。

第一步，模型會提示二進制 （yes-or-no） 問題，以確定電子郵件是否為惡意電子郵件。如果響應是肯定的，則第二步涉及將電子郵件分類為意圖類別，這反映了攻擊者旨在提示收件人執行的作。由于沒有提供示例，因此模型必須完全依賴其預先訓練的知識來推斷惡意電子郵件的特征及其潛在意圖。

為了提高準確性，特別是在分類方面，我們實施了一種 Few-shot 學習提示方法。Few-shot Prompt 的主要區別在于，每個類別都包含兩個完整的網絡釣魚電子郵件示例，包括標題和正文。這種方法為模型提供了真實示例作為參考，旨在提高它們識別類別中各種模式的能力。

該項目進行了三個實驗，所有實驗都采用了兩種不同的方法：零鏡頭和少鏡頭。所有電子郵件均以單個提示形式發送，每個模型之間沒有重疊;每個模型一次只收到一個提示，以避免數據污染。

所有實驗首先使用零樣本方法進行，僅通過電子郵件發送提示，不發送任何示例。LLM 僅使用提示的說明和他們自己的功能來執行他們的任務。

在少數樣本方法中，所有實驗都使用相同的堿基提示進行，該堿基提示在每個實驗中得到增強。在實驗的 few-shot 版本中，提示進一步擴充了與特定實驗相關的每類網絡釣魚電子郵件的兩個標記示例。這些示例作為上下文提示，幫助 LLM 從有限的數據中學習，這種技術通常稱為小樣本提示。這種設置使我們能夠調查模型根據最低限度的、有針對性的指導對網絡釣魚意圖進行泛化和分類的能力。

實驗 1?通過使用基本的提示工程并詢問電子郵件是否是惡意的來調查 LLM 的先天知識。一種常用的提示工程技術，通常稱為“角色提示”，用于傳達 LLM 將在初始步驟中用作電子郵件分類器的目的。該實驗引入了如下所示的提示，該提示將用作所有其他實驗的基準。該實驗使用相同的提示運行了兩次，不同之處在于電子郵件的少數樣本示例和所需的輸出附加到提示的末尾。實驗 1 中的少數鏡頭提示不包括意圖類別。

實驗 2?通過在步驟 1 中引入意圖類別來增強提示。此添加為 LLM 提供了更多上下文信息，但不構成整個過程中的額外步驟。這些意圖類別也包含在 Few-shot 學習示例中，以更有效地指導模型。

實驗 3?包含所有三個步驟，通過引入第二步：分類任務，以對 LLM 能力的初步評估為基礎。這種擴展的方法旨在通過關注 LLM 對各種網絡釣魚策略的理解和推理能力，評估 LLM 執行更全面分析的能力，超越簡單的二元分類。

實驗使用了四種模型：GPT-4o-mini、Claude 3.5 Haiku、Phi-4 （14B） 和 Qwen （7B）。目標不是確定最有能力的模型，而是探索現代大型語言模型在網絡釣魚檢測和分類方面的有效性。Qwen （7B） 是最小和最古老的模型（超過一年），用于評估較小、較新的模型與較新、更大且更具成本效益的企業模型相比的性能。Claude 3.5 Haiku 和 GPT-4o-mini 通過商業 API 訪問，而 Qwen （7B） 和 Phi-4 （14B） 在高端消費類臺式機上本地運行。

實驗分為三個階段：（1） 基本惡意電子郵件識別 （Exp1）;納入網絡釣魚技術分類 （Exp2）;（3） 將這兩項任務與附加的理由要求 （Exp3） 相結合。對于每個階段，我們都使用了 zero-shot 和 few-shot 學習方法，后綴為 表?II?中分別顯示 '-Zero' 和 '-Few'，它總結了結果。

在所有實驗中，GPT-4o-mini、Claude-3.5-haiku 和 Phi-4 （14b） 始終表現出高準確性，凸顯了它們即使在示例數據有限的情況下也能理解和分類惡意電子郵件的能力。Qwen（7b） 的性能比其他型號差得多。在某些任務中，它無法生成正確格式的輸出，導致百分比準確率為零。包含分類側重于攻擊者打算讓目標用戶執行什么，這可能會讓安全專業人員在真實攻擊的分類過程中搶占先機。理由要求提供了對模型的推理過程和透明度的一些見解。完整的六項實驗在單個批次中執行時，大約需要 70 分鐘才能完成。總體執行時間主要受本地托管模型的限制。相比之下，僅通過 API 訪問進行的實驗通常每個實驗需要 1 到 3 分鐘，GPT-4o-mini 和 Claude Haiku 模型的成本約為 0.01 至 0.03 美元。

所有實驗還要求模型生成理由作為輸出的一部分。與步驟 1-3 的結果一致，Qwen 在這項任務上的表現不足。此外，Phi-4 和 Claude 遇到了格式問題，導致多達三分之一的電子郵件中出現空理由。這些缺點表明，在理由生成過程中有明顯的改進機會。以正確格式提供的理由質量很高，并為確定電子郵件是合法還是可疑提供了良好的邏輯。下面包括通過鏈接發送合法電子郵件和網絡釣魚電子郵件的示例理由：

合法電子郵件：

通過鏈接進行網絡釣魚：

在本文中，我們評估了 LLM 的潛在用途，以根據攻擊者的意圖檢測和分類網絡釣魚電子郵件。實驗結果表明，現代 LLM 模型能夠推斷出與所提出的分類法中的類別一致的攻擊向量。此外，這些模型生成的輸出為安全專業人員提供了有價值的見解。回到第一節中概述的研究問題，我們的發現可以總結如下：

（RQ1）LLM，尤其是較大的現代模型，表現出了強大的推斷網絡釣魚意圖的能力，在網絡釣魚檢測中實現了 95% 以上的準確率。這不僅限于關鍵字識別，因為模型可以準確地識別電子郵件如何通過關注攻擊者的意圖來試圖欺騙用戶。

（RQ2）LLM 表現出大量的固有知識，在零鏡頭實驗中實現了很高的準確性。然而，通過小樣本學習為每個類別合并兩個樣本的結果喜憂參半：對于某些模型，樣本提高了類別的準確性，而在其他情況下，我們觀察到準確性降低。如果要引入或進一步探索小樣本學習，上下文長度和模型的大小可能很重要。

（RQ3）理由以及檢測和分類結果揭示了對模型思維過程的洞察力。雖然對推理質量的全面分析超出了這項工作的范圍，但對生成的理由的初步檢查表明，兩者之間存在相關性 確定了網絡釣魚線索和模型陳述的基本原理。這表明 LLM 不僅僅依賴于表面特征，而且在某種程度上能夠將網絡釣魚電子郵件的意圖與類別聯系起來。

（RQ4）LLM 成功地將網絡釣魚電子郵件分為不同的類別（即鏈接、附件、服務）。在三個表現最好的模型中，類別準確率在 76% 到 95% 之間（見表 II），這表明僅根據電子郵件的文本，LLM 就可以將電子郵件分類為魚叉式網絡釣魚技術，準確率很高。這表明了區分網絡釣魚類別的顯著能力，超越了簡單的二元分類。

（RQ5）通過對網絡釣魚電子郵件進行分類，LLM 展示了利用特定領域的知識來識別攻擊者的意圖、對威脅進行分類和分類以及生成解釋性理由來解釋為什么電子郵件被視為惡意的能力。提取的信息（包括已識別的指標和推斷的意圖）可以補充傳統的安全過濾器，尤其是在網絡釣魚電子郵件繞過現有檢測系統的情況下。這個額外的分析層有可能減少誤報，并幫助安全專業人員對基于電子郵件的安全事件進行分類和調查。

根據我們的工作，我們確定了未來研究的幾個領域。首先，如前所述，我們建議在與安全分析師的對照實驗中解決推理和論證能力 （RQ3）。其他需要進一步工作的領域包括：在更大、更多樣化的網絡釣魚電子郵件真實數據集上評估模型;調查基于 LLM 的方法與現有電子郵件安全系統的集成;對現有 LLM 進行微調;對 LLM 的使用進行成本效益分析;探索不同的提示策略;以及實施人機協同驗證系統。這些未來的研究方向可能有助于更深入地了解 LLM 在網絡釣魚檢測和分類方面的能力和局限性。