作者:來自 Elastic?Thorben J?ndling
在 AI 世界中,關于構建針對特定領域定制的大型語言模型(large language models - LLM)的話題備受關注 —— 不論是為了更好的安全性、上下文理解、專業能力,還是更高的準確率。這個想法非常誘人:還有什么比一個專為你量身打造的 AI 更能解決你獨特問題的方式呢?
但事情并不那么簡單 —— 打造一個優秀的 LLM 不僅極具挑戰,而且代價高昂、資源密集。像 OpenAI 和 xAI 這樣的組織投入了天文數字的資金、運行著強大的計算資源,并擁有多年積累的專業知識。對大多數人來說,試圖復制這樣的工作,幾乎就像在自家車庫里造一輛 F1 賽車 —— 雖然雄心勃勃,但多半以失敗告終。就連 DeepSeek 這樣的項目,也對資源有極高的要求。
好消息是:你并不需要自己去造輪子。大廠開發的 LLM 的美妙之處在于它們的多功能性。這些模型是 “通才” —— 被設計用來理解人類語言、生成連貫回應,并能夠在訓練數據之外進行智能推理。它們為智能交互提供了堅實的基礎。
那么,如何讓這些 “通才” 變身為能解決你特定領域難題的 “專才” 呢?
這正是 RAG(retrieval augmented generation?-?檢索增強生成) 登場的地方。
RAG:不僅僅是一個縮寫詞
RAG 并不是要重新發明輪子,它的核心理念是強化現有的能力。通過將強大的通用 LLM 與特定領域的知識庫(KB)結合,你就能賦予 AI 本不具備的專業知識。可以把它想象成:你在教一位天賦異稟的語言學家了解你所在行業的細節 —— 無論是像 BSI 安全指南這樣復雜的標準,還是組織內部的政策、流程手冊等等。與其從零訓練一個模型,不如給它提供現成的知識工具,幫助它回答復雜問題、輸出與你業務高度契合的見解。
想象一下這樣一個場景:你正在翻閱一份長達 850 頁、充滿技術建議的文檔。使用 RAG,你無需逐頁閱讀或大海撈針,而是可以用自然語言向 AI 提問,它會直接從文檔中提取答案 —— 高效且精準。再比如面對內部標準和流程規范,RAG 能讓你的 AI 助理提供有上下文理解的智能支持,幫助團隊節省時間、減少困擾。
歸根結底,RAG 能將通用型 AI 轉化為你的專屬專家,而無需投入巨資或承受開發復雜度。這是一條更聰明、更務實的道路,適合那些希望讓 AI 真正理解自己業務的人。而這,正是 RAG 遠不止于一個縮寫詞的原因所在。
一個真正懂行的 AI 助理
想象一下這樣的場景:你正在查閱一份技術文檔 —— 比如那份超過 850 頁的 BSI(德國聯邦信息安全辦公室)安全指南。你有一個非常具體的問題,比如 “如何保護運行過時軟件的 OT 環境”,但文檔的篇幅實在太長,想要手動查找答案簡直就是一場持久戰。這時,RAG 的優勢就體現出來了。
有了 RAG 加持的 AI 助理,你可以完全跳過手動查閱的步驟。你只需要用自然語言提問 —— 比如 “BSI 對于保護運行 Windows XP 的系統有什么建議?” —— 助理不僅會給你一個簡明扼要的答案,還會引用指南中相關章節作為依據。它就像一位讀過整本文檔、并且記得每個細節的領域專家。
拿 OT 環境中使用遺留軟件的場景來說。雖然 Windows XP 在 IT 世界早已被淘汰,但在 OT 領域,它仍然可能是某些昂貴設備運行的核心組成部分,在設備生命周期內無法替換。BSI 指南正是意識到這種現實,才提出了一套用于保護這類系統的安全框架。AI 助理不會一味地否定你的現狀,而是能提供有上下文的建議,清晰地拆解出如下建議,比如:
你可以看到,這樣的 AI 助理能夠將晦澀繁雜的技術內容提煉為可操作的建議,并附帶相關章節的引用。這不僅節省了時間,更確保了建議符合最佳實踐。如果你還想進一步深入某個點,繼續提問就可以了。
真正的強大之處在于它對細節的理解。沒錯,Windows XP 的確已經過時了,但 Elastic Security AI 助理理解它在特定 OT 環境中仍不可或缺的現實。它不會給你套用模板式的通用建議,而是能提供有針對性的解決方案,直擊 OT 場景下的獨特挑戰。這讓 AI 助理不僅是“有幫助”,而是成為應對復雜問題時不可或缺的關鍵伙伴。
RAG 的優勢在于它讓組織可以充分利用最前沿的 AI 技術,無需從零開發大型模型,而是以一種切實可行的方式,幫助你做出更智能、更加貼合實際的決策。
🎯 想親自試試嗎?
Elastic 的其他博客深入講解了 RAG 背后的關鍵技術,比如向量數據庫、語義搜索等。如果你想深入研究,非常歡迎閱讀這些資源。其中,我的同事 Christine Komander 就寫了一篇博客,演示如何通過將 PDF 構建成 Elasticsearch 索引,實現一個具備本地知識的語義搜索型 AI 助理。
不過,為了讓你更輕松上手,我整理出了一個簡單的腳本,只需三步就能完成所有技術配置:
-
配置連接到你的 Elasticsearch 實例
-
由腳本自動設置 inferencing、ingest pipeline 和索引
-
讀取任意數量的 PDF 文檔
請查閱該項目的 README.md
文件,了解腳本的具體用法、功能說明,以及它如何處理摘錄(excerpt)提取等特性。README 中還提供了如何加載我們前文提到的 BSI 安全指南的示例。
一旦你建好了知識庫,肯定會想 “上手玩一玩”。你可以將它配置到 Observability 或 Security 的 AI 助理中。但在這里,我們將以 Kibana 的 Search AI Playground 為例來展示:
1. 在 Kibana 中,打開導航菜單并點擊 “Search” 應用下的 Playground。
2. 在右上角配置你的 Model Settings,選擇你想使用的 LLM(我使用的是 GPT-4o)
3. 點擊右上角的 Data 按鈕,選擇你通過上面的腳本創建的 KB 索引;如果需要,你可以啟用多個索引
4. 現在,你可以在 “Ask a question” 框中提問了
如果你想在 Elastic AI Assistant for Security 中使用一個或多個這樣的 KB 索引,那么你需要按照文檔中的說明添加 KB 索引。此外,這是我為我的 BSI KB 提供的 “Query Instruction”:
The BSI documents herein are in German, so use German to query them. However, translate all responses back to the user's language. Always include references/citations to the relevant document sections in the response. <example 1>This is a generic example response [§<section>]</example 1><example 2>This is a specific example response [§IND.2.3.4]</example 2>
我們可以在下一部分查看更多的例子。
不僅僅是技術人員:為什么它很重要
雖然使用 AI 和 RAG 的想法似乎是專門為技術愛好者或數據科學家量身定制的,但它的應用遠不止于此。這種方法使復雜的法規、技術或操作文檔變得易于理解,能夠在需要時隨時提供,并且將信息提煉到所需的精確內容,包括那些技術背景有限的人員。
如果提供與 AI 助手的對話的完整文本,這篇博客將變得過于冗長。因此,我將總結一些例子,來說明這項技術如何解決復雜的現實場景。如果你有興趣看到它的實際應用,歡迎在自己的 Elasticsearch 部署中重新創建這些體驗。
NIS II:一個實際例子
讓我們通過一個與 NIS II 指令相關的例子來探索它是如何工作的:
問題:“As a dairy farmer, describe how NIS II might apply to me and what actions I should be taking. - 作為一個乳制品農場主,NIS II 如何適用于我,我應該采取哪些措施?”
AI 助手審查相關文檔并解釋乳制品農業部門如何被歸類為 NIS II 下的關鍵部門。它概述了實際步驟,包括實施風險管理措施、報告重大事件以及確保遵守國家監管要求。回答詳細而易于理解,顯示了即使是非技術用戶也能與復雜的法規進行互動。
問題:“ As a dairy farmer, all of this is beyond my capability and understanding. - 作為一個乳制品農場主,這些對我來說超出了我的能力和理解。”
在這種情況下,助手提供了針對不了解網絡安全概念的人的可操作建議。它建議從基本的網絡衛生開始,尋求專業幫助,并利用行業資源滿足合規要求。
問題:“My tractor is computerized and I assume it is connecting to its manufacturer, however I am not allowed nor able to make alterations. - 我的拖拉機是計算機化的,我認為它正在與制造商連接,但我無法也不允許進行任何更改。”
在這里,助手建議與制造商聯系,確保安全措施到位,了解拖拉機的連接情況,并確保遵循更新和事件報告流程。它突出了農場主可以在不需要深厚技術知識的情況下采取的措施來解決網絡安全問題。
通過這些例子,顯而易見的是,AI 助手(借助 RAG)不僅僅是為技術精通的用戶設計的 —— 它們旨在使關鍵信息對每個人都變得可用和可操作,無論其技術背景如何。
重點:更智能的 AI,更愉快的用戶
RAG 和 Elasticsearch 的一個顯著特點是,它們提供了在許多其他生態系統中作為獨立產品存在的功能。在更廣泛的市場中,有無數供應商正在開發圍繞 LLM 和 AI 構建的專業專家系統。這些系統中的許多甚至可能依賴 Elasticsearch 作為底層技術 —— 但在 Elasticsearch 中,這種功能是內置的,所有用戶都可以使用。
對于 Elasticsearch 客戶來說,這意味著像 RAG 和 AI 助手這樣的功能已經作為企業許可的一部分包含在內。我們不會將你鎖定在我們選擇的 LLM 中 —— 你可以自由連接任何你選擇的 LLM,以使用這些先進的功能,使最前沿的 AI 對更廣泛的受眾開放,并與你的業務數據相關。
這不僅僅是關于技術;它是關于解決現實世界中的問題。例如,安全分析師面臨著越來越多的信息洪流 —— 從冗長的云日志到不斷發展的法規框架,如 GDPR、NIS II 和 DORA。想一想,用戶需要熟悉的龐大數據量,包括手冊、操作手冊、法規、指南、標準、技術文檔等。現在,通過利用 Elasticsearch 提供的現成功能的 AI 和 RAG,用戶可以更有效地處理、分析并采取行動,減少認知負擔,改善決策。
AI 的未來不是取代人類 —— 而是賦能人類。借助像 Elastic AI 助手 for Security、利用 RAG 和自定義知識源等解決方案,我們可以創建更智能的系統,幫助用戶駕馭復雜性,做出明智的決策,并最終實現更好的成果。
了解更多關于如何通過 Elastic AI 助手實現更快問題解決的信息。
此博客中提到的任何功能或功能的發布和時間安排均由 Elastic 自行決定。任何當前不可用的功能或功能可能無法按時交付,甚至根本無法交付。
在此博客中,我們可能提到或引用了第三方生成的 AI 工具,這些工具由各自的所有者擁有和運營。Elastic 對第三方工具沒有控制權,也不對其內容、操作或使用負責,也不對因使用這些工具而可能引起的任何損失或損害承擔責任。請在使用帶有個人、敏感或機密信息的 AI 工具時謹慎。你提交的任何數據可能會用于 AI 訓練或其他目的。我們不能保證你提供的信息將被保持安全或保密。在使用任何生成 AI 工具之前,你應熟悉其隱私實踐和使用條款。
Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 及相關標志是 Elasticsearch N.V. 在美國和其他國家的商標、標識或注冊商標。所有其他公司和產品名稱是各自所有者的商標、標識或注冊商標。