Elasticsearch:AI 助理 - 從通才到專才

作者:來自 Elastic?Thorben J?ndling

在 AI 世界中,關于構建針對特定領域定制的大型語言模型(large language models - LLM)的話題備受關注 —— 不論是為了更好的安全性、上下文理解、專業能力,還是更高的準確率。這個想法非常誘人:還有什么比一個專為你量身打造的 AI 更能解決你獨特問題的方式呢?

但事情并不那么簡單 —— 打造一個優秀的 LLM 不僅極具挑戰,而且代價高昂、資源密集。像 OpenAI 和 xAI 這樣的組織投入了天文數字的資金、運行著強大的計算資源,并擁有多年積累的專業知識。對大多數人來說,試圖復制這樣的工作,幾乎就像在自家車庫里造一輛 F1 賽車 —— 雖然雄心勃勃,但多半以失敗告終。就連 DeepSeek 這樣的項目,也對資源有極高的要求。

好消息是:你并不需要自己去造輪子。大廠開發的 LLM 的美妙之處在于它們的多功能性。這些模型是 “通才” —— 被設計用來理解人類語言、生成連貫回應,并能夠在訓練數據之外進行智能推理。它們為智能交互提供了堅實的基礎。

那么,如何讓這些 “通才” 變身為能解決你特定領域難題的 “專才” 呢?
這正是 RAG(retrieval augmented generation?-?檢索增強生成) 登場的地方。

RAG:不僅僅是一個縮寫詞

RAG 并不是要重新發明輪子,它的核心理念是強化現有的能力。通過將強大的通用 LLM 與特定領域的知識庫(KB)結合,你就能賦予 AI 本不具備的專業知識。可以把它想象成:你在教一位天賦異稟的語言學家了解你所在行業的細節 —— 無論是像 BSI 安全指南這樣復雜的標準,還是組織內部的政策、流程手冊等等。與其從零訓練一個模型,不如給它提供現成的知識工具,幫助它回答復雜問題、輸出與你業務高度契合的見解。

想象一下這樣一個場景:你正在翻閱一份長達 850 頁、充滿技術建議的文檔。使用 RAG,你無需逐頁閱讀或大海撈針,而是可以用自然語言向 AI 提問,它會直接從文檔中提取答案 —— 高效且精準。再比如面對內部標準和流程規范,RAG 能讓你的 AI 助理提供有上下文理解的智能支持,幫助團隊節省時間、減少困擾。

歸根結底,RAG 能將通用型 AI 轉化為你的專屬專家,而無需投入巨資或承受開發復雜度。這是一條更聰明、更務實的道路,適合那些希望讓 AI 真正理解自己業務的人。而這,正是 RAG 遠不止于一個縮寫詞的原因所在。

一個真正懂行的 AI 助理

想象一下這樣的場景:你正在查閱一份技術文檔 —— 比如那份超過 850 頁的 BSI(德國聯邦信息安全辦公室)安全指南。你有一個非常具體的問題,比如 “如何保護運行過時軟件的 OT 環境”,但文檔的篇幅實在太長,想要手動查找答案簡直就是一場持久戰。這時,RAG 的優勢就體現出來了

有了 RAG 加持的 AI 助理,你可以完全跳過手動查閱的步驟。你只需要用自然語言提問 —— 比如 “BSI 對于保護運行 Windows XP 的系統有什么建議?” —— 助理不僅會給你一個簡明扼要的答案,還會引用指南中相關章節作為依據。它就像一位讀過整本文檔、并且記得每個細節的領域專家

拿 OT 環境中使用遺留軟件的場景來說。雖然 Windows XP 在 IT 世界早已被淘汰,但在 OT 領域,它仍然可能是某些昂貴設備運行的核心組成部分,在設備生命周期內無法替換。BSI 指南正是意識到這種現實,才提出了一套用于保護這類系統的安全框架。AI 助理不會一味地否定你的現狀,而是能提供有上下文的建議,清晰地拆解出如下建議,比如:

你可以看到,這樣的 AI 助理能夠將晦澀繁雜的技術內容提煉為可操作的建議,并附帶相關章節的引用。這不僅節省了時間,更確保了建議符合最佳實踐。如果你還想進一步深入某個點,繼續提問就可以了。

真正的強大之處在于它對細節的理解。沒錯,Windows XP 的確已經過時了,但 Elastic Security AI 助理理解它在特定 OT 環境中仍不可或缺的現實。它不會給你套用模板式的通用建議,而是能提供有針對性的解決方案,直擊 OT 場景下的獨特挑戰。這讓 AI 助理不僅是“有幫助”,而是成為應對復雜問題時不可或缺的關鍵伙伴

RAG 的優勢在于它讓組織可以充分利用最前沿的 AI 技術,無需從零開發大型模型,而是以一種切實可行的方式,幫助你做出更智能、更加貼合實際的決策。

🎯 想親自試試嗎?

Elastic 的其他博客深入講解了 RAG 背后的關鍵技術,比如向量數據庫、語義搜索等。如果你想深入研究,非常歡迎閱讀這些資源。其中,我的同事 Christine Komander 就寫了一篇博客,演示如何通過將 PDF 構建成 Elasticsearch 索引,實現一個具備本地知識的語義搜索型 AI 助理。

不過,為了讓你更輕松上手,我整理出了一個簡單的腳本,只需三步就能完成所有技術配置:

  1. 配置連接到你的 Elasticsearch 實例

  2. 由腳本自動設置 inferencing、ingest pipeline 和索引

  3. 讀取任意數量的 PDF 文檔

請查閱該項目的 README.md 文件,了解腳本的具體用法、功能說明,以及它如何處理摘錄(excerpt)提取等特性。README 中還提供了如何加載我們前文提到的 BSI 安全指南的示例。

一旦你建好了知識庫,肯定會想 “上手玩一玩”。你可以將它配置到 Observability 或 Security 的 AI 助理中。但在這里,我們將以 Kibana 的 Search AI Playground 為例來展示:

1. 在 Kibana 中,打開導航菜單并點擊 “Search” 應用下的 Playground。

2. 在右上角配置你的 Model Settings,選擇你想使用的 LLM(我使用的是 GPT-4o)

3. 點擊右上角的 Data 按鈕,選擇你通過上面的腳本創建的 KB 索引;如果需要,你可以啟用多個索引

4. 現在,你可以在 “Ask a question” 框中提問了

如果你想在 Elastic AI Assistant for Security 中使用一個或多個這樣的 KB 索引,那么你需要按照文檔中的說明添加 KB 索引。此外,這是我為我的 BSI KB 提供的 “Query Instruction”:

The BSI documents herein are in German, so use German to query them. However, translate all responses back to the user's language. Always include references/citations to the relevant document sections in the response. <example 1>This is a generic example response [§<section>]</example 1><example 2>This is a specific example response [§IND.2.3.4]</example 2>

我們可以在下一部分查看更多的例子。

不僅僅是技術人員:為什么它很重要

雖然使用 AI 和 RAG 的想法似乎是專門為技術愛好者或數據科學家量身定制的,但它的應用遠不止于此。這種方法使復雜的法規、技術或操作文檔變得易于理解,能夠在需要時隨時提供,并且將信息提煉到所需的精確內容,包括那些技術背景有限的人員。

如果提供與 AI 助手的對話的完整文本,這篇博客將變得過于冗長。因此,我將總結一些例子,來說明這項技術如何解決復雜的現實場景。如果你有興趣看到它的實際應用,歡迎在自己的 Elasticsearch 部署中重新創建這些體驗。

NIS II:一個實際例子

讓我們通過一個與 NIS II 指令相關的例子來探索它是如何工作的:

問題:“As a dairy farmer, describe how NIS II might apply to me and what actions I should be taking. - 作為一個乳制品農場主,NIS II 如何適用于我,我應該采取哪些措施?”

AI 助手審查相關文檔并解釋乳制品農業部門如何被歸類為 NIS II 下的關鍵部門。它概述了實際步驟,包括實施風險管理措施、報告重大事件以及確保遵守國家監管要求。回答詳細而易于理解,顯示了即使是非技術用戶也能與復雜的法規進行互動。

問題:“ As a dairy farmer, all of this is beyond my capability and understanding. - 作為一個乳制品農場主,這些對我來說超出了我的能力和理解。”

在這種情況下,助手提供了針對不了解網絡安全概念的人的可操作建議。它建議從基本的網絡衛生開始,尋求專業幫助,并利用行業資源滿足合規要求。

問題:“My tractor is computerized and I assume it is connecting to its manufacturer, however I am not allowed nor able to make alterations. - 我的拖拉機是計算機化的,我認為它正在與制造商連接,但我無法也不允許進行任何更改。”

在這里,助手建議與制造商聯系,確保安全措施到位,了解拖拉機的連接情況,并確保遵循更新和事件報告流程。它突出了農場主可以在不需要深厚技術知識的情況下采取的措施來解決網絡安全問題。

通過這些例子,顯而易見的是,AI 助手(借助 RAG)不僅僅是為技術精通的用戶設計的 —— 它們旨在使關鍵信息對每個人都變得可用和可操作,無論其技術背景如何。

重點:更智能的 AI,更愉快的用戶

RAG 和 Elasticsearch 的一個顯著特點是,它們提供了在許多其他生態系統中作為獨立產品存在的功能。在更廣泛的市場中,有無數供應商正在開發圍繞 LLM 和 AI 構建的專業專家系統。這些系統中的許多甚至可能依賴 Elasticsearch 作為底層技術 —— 但在 Elasticsearch 中,這種功能是內置的,所有用戶都可以使用。

對于 Elasticsearch 客戶來說,這意味著像 RAG 和 AI 助手這樣的功能已經作為企業許可的一部分包含在內。我們不會將你鎖定在我們選擇的 LLM 中 —— 你可以自由連接任何你選擇的 LLM,以使用這些先進的功能,使最前沿的 AI 對更廣泛的受眾開放,并與你的業務數據相關。

這不僅僅是關于技術;它是關于解決現實世界中的問題。例如,安全分析師面臨著越來越多的信息洪流 —— 從冗長的云日志到不斷發展的法規框架,如 GDPR、NIS II 和 DORA。想一想,用戶需要熟悉的龐大數據量,包括手冊、操作手冊、法規、指南、標準、技術文檔等。現在,通過利用 Elasticsearch 提供的現成功能的 AI 和 RAG,用戶可以更有效地處理、分析并采取行動,減少認知負擔,改善決策。

AI 的未來不是取代人類 —— 而是賦能人類。借助像 Elastic AI 助手 for Security、利用 RAG 和自定義知識源等解決方案,我們可以創建更智能的系統,幫助用戶駕馭復雜性,做出明智的決策,并最終實現更好的成果。

了解更多關于如何通過 Elastic AI 助手實現更快問題解決的信息。

此博客中提到的任何功能或功能的發布和時間安排均由 Elastic 自行決定。任何當前不可用的功能或功能可能無法按時交付,甚至根本無法交付。

在此博客中,我們可能提到或引用了第三方生成的 AI 工具,這些工具由各自的所有者擁有和運營。Elastic 對第三方工具沒有控制權,也不對其內容、操作或使用負責,也不對因使用這些工具而可能引起的任何損失或損害承擔責任。請在使用帶有個人、敏感或機密信息的 AI 工具時謹慎。你提交的任何數據可能會用于 AI 訓練或其他目的。我們不能保證你提供的信息將被保持安全或保密。在使用任何生成 AI 工具之前,你應熟悉其隱私實踐和使用條款。

Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 及相關標志是 Elasticsearch N.V. 在美國和其他國家的商標、標識或注冊商標。所有其他公司和產品名稱是各自所有者的商標、標識或注冊商標。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/75972.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/75972.shtml
英文地址,請注明出處:http://en.pswp.cn/web/75972.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

【ARM】MDK燒錄提示Error:failed to execute‘ ‘

1、 文檔目標 解決在燒錄程序的時候&#xff0c;因為選擇了錯誤的燒錄方式導致下載失敗的情況。 2、 問題場景 在燒錄程序的時候出現了提示&#xff1a;“Error&#xff1a;failed to execute ’ ”&#xff08;如圖2-1&#xff09;。檢測Target->Debug配置發現沒有問題&a…

系統分析師(六)-- 計算機網絡

概述 TCP/IP 協議族 DNS DHCP 網絡規劃與設計 邏輯網絡設計 物理網絡設計 題目 層次化網絡設計 網絡冗余設計 綜合布線系統 IP地址 網絡接入技術 其他網絡技術應用 物聯網

優化運營、降低成本、提高服務質量的智慧物流開源了

智慧物流視頻監控平臺是一款功能強大且簡單易用的實時算法視頻監控系統。它的愿景是最底層打通各大芯片廠商相互間的壁壘&#xff0c;省去繁瑣重復的適配流程&#xff0c;實現芯片、算法、應用的全流程組合&#xff0c;從而大大減少企業級應用約95%的開發成本可通過邊緣計算技術…

從One-Hot到TF-IDF:NLP詞向量演進解析與業務實戰指南(一)

從One-Hot到TF-IDF&#xff1a;詞向量演進之路 開場白&#xff1a; 想象一下&#xff0c;你試圖用Excel表格分析《紅樓夢》的情感傾向——每個字詞都是孤立的單元格&#xff0c;計算機看到的只有冰冷的0和1&#xff0c;而“黛玉葬花”的凄美意境卻消失得無影無蹤。這就是NLP工…

2. kubernetes操作概覽

以下是 Kubernetes 的核心操作概覽&#xff0c;涵蓋常用命令、資源管理和典型場景的操作流程&#xff1a; 1. 核心操作工具 (1) kubectl 命令行工具 Kubernetes 的所有操作均通過 kubectl 實現&#xff0c;常用命令如下&#xff1a; 操作類型命令示例作用說明查看資源狀態ku…

從Ampere到Hopper:GPU架構演進對AI模型訓練的顛覆性影響

一、GPU架構演進的底層邏輯 AI大模型訓練效率的提升始終與GPU架構的迭代深度綁定。從Ampere到Hopper的演進路徑中&#xff0c;英偉達通過?張量核心升級?、?顯存架構優化?、?計算范式革新?三大技術路線&#xff0c;將LLM&#xff08;大語言模型&#xff09;訓練效率提升至…

p2p的發展

PCDN&#xff08;P2P內容分發網絡&#xff09;行業目前處于快速發展階段&#xff0c;面臨機遇與挑戰并存的局面。 一、發展機遇 技術融合推動 邊緣計算與5G普及&#xff1a;5G的高帶寬、低延遲特性與邊緣計算技術結合&#xff0c;顯著提升PCDN性能&#xff0c;降低延遲&#x…

計算機視覺與深度學習 | 視覺里程計(Visual Odometry, VO)學習思路總結

視覺里程計(Visual Odometry, VO)學習思路總結 視覺里程計(VO)是通過攝像頭捕獲的圖像序列估計相機運動軌跡的技術,廣泛應用于機器人、自動駕駛和增強現實等領域。以下是一個系統的學習路徑,涵蓋基礎理論、核心算法、工具及實踐建議:一、基礎理論與數學準備 核心數學工具…

Ubuntu 24.04 中文輸入法安裝

搜狗輸入法&#xff0c;在Ubuntu 24.04上使用失敗&#xff0c;安裝教程如下 https://shurufa.sogou.com/linux/guide 出現問題的情況&#xff0c;是這個帖子里描述的&#xff1a; https://forum.ubuntu.org.cn/viewtopic.php?t493893 后面通過google拼音輸入法解決了&#x…

阿里云 MSE Nacos 發布全新“安全防護”模塊,簡化安全配置,提升數據保護

作者&#xff1a;張文浩 阿里云在其微服務引擎&#xff08;MSE&#xff09;注冊配置中心 Nacos 上正式推出全新“安全防護”功能模塊&#xff0c;旨在幫助企業用戶有效管理安全狀態和降低開啟安全相關功能的學習成本&#xff0c;提升微服務架構的安全性。首期推出的“安全防護…

C#核心(23)StringBuilder

前言 我們先前已經了解了String的一些基本規則和常見的用法,今天就來講一下和string有所區別的StringBulider。 在 C# 中,StringBuilder 類是一個非常有用的工具,特別是在需要頻繁修改字符串時。與 String 類型不同,StringBuilder 類提供了一種動態字符串,可以在不創建新…

活動圖與流程圖的區別與聯系:深入理解兩種建模工具

目錄 前言1. 活動圖概述1.1 活動圖的定義1.2 活動圖的基本構成要素1.3 活動圖的應用場景 2. 流程圖概述2.1 流程圖的定義2.2 流程圖的基本構成要素2.3 流程圖的應用場景 3. 活動圖與流程圖的聯系4. 活動圖與流程圖的區別4.1 所屬體系不同4.2 表達能力差異4.3 使用目的與語境4.4…

idea運行springboot項目,運行時不能生成target

1&#xff0c;問題 項目本來運行正常&#xff0c;突然重啟項目運行時&#xff0c;提醒主類找不到&#xff0c;發現target未生成 2&#xff0c;解決辦法 查看.idea里面的文件&#xff0c;正常是下面這樣的 如果有缺失&#xff0c;刪除.idea里面的文件&#xff0c;清除idea緩…

【unity游戲開發——Animator動畫】Animator動畫狀態機復用——重寫動畫控制器 Animator Override Controller

注意&#xff1a;考慮到UGUI的內容比較多&#xff0c;我將UGUI的內容分開&#xff0c;并全部整合放在【unity游戲開發——Animator動畫】專欄里&#xff0c;感興趣的小伙伴可以前往逐一查看學習。 文章目錄 一、狀態機復用是什么&#xff1f;二、實戰專欄推薦完結 一、狀態機復…

山東大學軟件學院創新項目實訓(11)之springboot+vue項目接入deepseekAPI

因為該階段是前后端搭建階段&#xff0c;所以沒有進大模型的專項訓練&#xff0c;所以先用老師給的deepseek接口進行代替 且因為前端設計部分非本人負責且還沒有提交到github上&#xff0c;所以目前只能先編寫一個簡易的界面進行功能的測試 首先進行創建model類 然后創建Cha…

FreeRTOS入門與工程實踐-基于STM32F103(二)(互斥量,事件組,任務通知,軟件定時器,中斷管理,資源管理,調試與優化)

互斥量 一、互斥量&#xff08;Mutex&#xff09;&#xff1a;解決多任務 “搶資源” 的問題 1. 是什么&#xff1f; 互斥量是一種 “任務間互斥訪問資源” 的工具&#xff0c;本質是一個 只能被鎖定&#xff08;0&#xff09;或釋放&#xff08;1&#xff09;的二進制信號量…

軟考筆記10——網絡與信息安全基礎知識

第十章節——網絡與信息安全基礎知識 網絡與信息安全基礎知識 第十章節——網絡與信息安全基礎知識一、網絡概述1. 計算機網絡概念2. 計算機網絡分類3. 網絡拓補結構4. ISO/OSI網絡體系結構1. ISO/OSI參考模型 二、網絡互聯硬件1. 網絡的設備2. 網絡的傳輸介質 三、網絡協議與標…

Tycoon2FA釣魚工具包發布重大更新,強化反檢測能力

釣魚即服務&#xff08;PhaaS&#xff09;平臺升級反檢測功能 網絡安全公司Sekoia于2023年發現的釣魚工具包Tycoon2FA近期發布重大更新&#xff0c;顯著提升了其反檢測能力。該工具包現采用多項高級規避技術&#xff0c;包括通過HTML5 canvas實現的自定義驗證碼、混淆JavaScri…

【信息系統項目管理師】高分論文:論信息系統項目的整合管理(旅游景區導游管理平臺)

更多內容請見: 備考信息系統項目管理師-專欄介紹和目錄 文章目錄 論文一、制定項目章程二、制訂項目管理計劃三、指導和管理項目工作四、管理項目知識五、監控項目工作六、實施整體變更控制七、結束項目或階段論文 在國家《中國旅游“十三五”發展規劃信息化專項規劃的背景下…

深入理解微信小程序開發:架構、組件化與進階實戰

&#x1f4d8;博文正文&#xff1a; 深入理解微信小程序開發&#xff1a;架構、組件化與進階實戰 微信小程序已成為移動互聯網的重要入口。隨著業務復雜度提升&#xff0c;僅靠入門知識已無法應對日常開發需求。本文將深入剖析小程序開發架構、組件化模式、狀態管理、網絡封裝…