作者：來自 Elastic?Jay Shah, Adhish Thite

ElasticGPT — 由 Elastic 提供支持，專為 Elastic 打造

ElasticGPT 是我們基于檢索增強生成（RAG）框架構建的內部生成式 AI （GenAI）助手。它是使用 Elastic 自有技術棧精心打造的，旨在為 Elastic 員工提供安全、可擴展且具備上下文感知的知識發現能力。

其核心是 SmartSource，這是一個私有的、內部構建并經過精細調優的 RAG 模型，它利用 Elasticsearch 進行向量檢索和數據存儲，從我們的內部數據源中檢索并傳遞最相關的上下文給 OpenAI 的大型語言模型（LLM）。這個生成式 AI 應用還通過 Elastic Cloud，借助專屬 Azure 租戶，為 OpenAI 的 GPT-4o 和 GPT-4o-mini 模型提供私密、安全的訪問。這種架構展示了 Elastic AI 生態系統從后端到前端的無縫集成與強大能力，整個過程都通過 Elastic 的可觀測性工具進行監控和優化。

在這篇文章中，我們將深入解析 ElasticGPT 的架構，重點介紹 SmartSource —— 我們基于 RAG 的內部 LLM 框架與模型，它徹底改變了我們從專有內部數據源中檢索和發現信息的方式。我們還將探討對 OpenAI 的 GPT-4o 和 GPT-4o-mini 模型的私有訪問如何擴展 ElasticGPT 的能力，使其超越 RAG，實現更廣泛的生成式任務 —— 同時始終堅持 “客戶零” 的理念。

Elastic on Elastic 故事：用我們的平臺構建 GenAI 應用

作為第一個用戶，構建 ElasticGPT 不僅是為了驗證我們的生成式 AI 能力并在 AI 時代實現關鍵效率提升，更是為了向產品團隊提供反饋，并與客戶分享最佳實踐，指導如何構建可持續、面向未來、可隨業務增長而擴展的生成式 AI 平臺。

ElasticGPT 不只是另一個工具 —— 它是 Elastic 技術協同工作的一個真實展示。我們從零開始構建它，完全基于 Elastic 的 Search AI Platform 中的解決方案與能力：

• Elasticsearch 驅動數據與搜索核心
• Elastic Cloud 實現輕松擴展
• EUI，即 Elastic 內置設計庫，提供精致的前端
• Elastic Observability 提供實時洞察

這種方法確保我們能夠利用 Elastic 的集成功能，構建安全、高性能、無縫的應用，滿足團隊當前的需求并應對未來的期望。

后端架構：Elasticsearch 作為強大的核心

ElasticGPT 的核心是 Elasticsearch，這是一款多功能強大工具，既是 SmartSource 的 RAG 功能所用的向量數據庫，也是所有模型聊天數據的高性能存儲庫。部署在 Elastic Cloud 上，這一架構具備支持日益增長的內部用戶群所需的靈活性、可擴展性和性能。

SmartSource 的向量數據庫

SmartSource 是我們內部模型的名稱，它利用 Elasticsearch 的向量數據庫存儲 embedding —— 即我們內部數據的數值表示，這些數據來自 Elastic 的 Wiki、ServiceNow 知識文章、ServiceNow 新聞文章等。通過 Elastic 的 Enterprise Connectors，我們可以輕松攝取這些數據，將其拆分為可搜索的片段，并生成 embedding 用于語義搜索。當用戶問“我們第一季度的銷售目標是多少？”時，SmartSource 會在 Elasticsearch 中執行高速向量搜索，檢索最相關的上下文 —— 可能是一段銷售報告或會議記錄 —— 并將其提供給 GPT-4o，生成精準回復。

這個架構讓 SmartSource 能基于我們的專有數據，提供精準、具備上下文的答案，這一切都得益于 Elastic 無與倫比的搜索能力。

所有模型的聊天數據存儲

每一次交互 —— 無論是與 SmartSource、GPT-4o，還是 GPT-4o-mini —— 都被精準記錄在 Elasticsearch 中，包括用戶消息、時間戳、反饋和元數據。

將這些數據存儲在 Elasticsearch 中不僅是為了記錄，更是為了持續優化。借助 Elastic 的分析功能，我們可以追蹤使用模式、識別常見問題并發現可優化區域。同時，通過 Elastic Observability 的 APM（應用性能監控），我們可以實時監控性能、可靠性和資源使用，確保在用戶數量增長時依然保持極速響應。用戶聊天數據每 30 天刪除一次，僅保留指標數據，從而以低成本保留最相關的信息。

前端架構：React 和 EUI 帶來無縫體驗

ElasticGPT 的前端是 React 與 EUI（Elastic 自有 UI 框架）的完美結合，確保它看起來像是我們生態系統的自然延伸。前端部署在 Elastic Cloud 內的 Kubernetes 上，具備動態擴展能力，并可與后端無縫集成。

為什么選擇 EUI？靈活性的實踐

一開始，我們嘗試使用 Hugging Face 的 Chat UI 以便快速起步，但當用戶需要自定義功能時，其局限性迅速顯現。轉向 EUI 是顯而易見的選擇 —— 它為 Elastic 產品量身打造，與我們的設計系統和后端完美契合。現在，ElasticGPT 的界面與 Kibana 等工具風格一致，帶來統一體驗，并能在生成式 AI 持續發展中快速迭代。

核心功能：實時與安全

前端支持實時流式響應，用戶可以自然看到答案逐步呈現 —— 更像一場對話，而非加載界面。來源標注與鏈接增強信任，而簡單的反饋按鈕讓用戶可以評價答案質量。安全性方面，Elastic 使用 Okta 單點登錄（SSO）進行認證，并通過端到端加密保障數據安全。得益于 Elastic Cloud 的 Kubernetes 編排，我們可在不停機的情況下部署更新，確保用戶體驗持續順暢且可靠。

API：連接前端與后端的粘合劑

ElasticGPT 的 API 是幕后英雄，它以無狀態、流式設計連接 React 前端與 Elasticsearch 后端，旨在高效傳輸，為用戶實時提供快速、準確的響應。

SmartSource 的工作機制

當用戶向 SmartSource 提出問題時，API 會在 Elasticsearch 中觸發向量搜索以獲取相關上下文，將其發送至 GPT-4o（部署在 Azure 上），并將生成的響應流式傳回前端。

對于 GPT-4o 和 GPT-4o-mini，API 會繞過 RAG pipeline，直接將查詢發送至 Azure 托管的模型，執行如頭腦風暴或常規問答等無上下文任務。

通過 Elastic APM 進行監控

Elastic APM 監控每一次 API 請求 —— 查詢延遲、錯誤率等 —— 確保我們在用戶受到影響前解決問題。Kibana 儀表板提供 API 性能、模型使用情況和系統健康狀況的全局視圖，強化平臺化架構的優勢。

LangChain：編排 RAG 流程

LangChain 是 SmartSource RAG 功能背后的編排層，它將 Elastic 的向量搜索與 GPT-4o 的生成能力連接起來，提供準確且具備上下文的響應。

1. 它的作用：LangChain 全程管理 RAG 流程：對攝取的數據進行切分、生成 embedding、從 Elasticsearch 檢索上下文，并為 GPT-4o 構建 prompt。例如，當用戶詢問第一季度銷售情況時，LangChain 會從銷售報告中提取精確的片段 —— 而不是整篇文檔 —— 使回答簡潔且相關。

2. 它為何適合 Elastic：LangChain 的靈活性與 Elastic Stack 完美契合。Elasticsearch 提供快速、可擴展的向量搜索，Elastic Cloud 確保基礎架構按需擴展。同時，Kibana 讓我們能與系統其他部分一起監控 LangChain 的性能，實現統一的可觀測性策略。

擴展能力：私有訪問 GPT-4o 和 GPT-4o-mini

除了 SmartSource，ElasticGPT 還提供對 LLMs（如 OpenAI 的 GPT-4o 和 GPT-4o-mini）的安全訪問，這些模型托管在私有 Azure 租戶中。這些模型適合無需內部數據檢索的任務 —— 如常規查詢、內容撰寫或創意頭腦風暴。而且，由于運行在安全環境中，員工可以放心分享公司內部數據，符合公司政策要求。

安全與合規：在 Azure 上托管這些模型，確保所有交互符合 Elastic 嚴格的安全與合規標準。Elastic 員工可以安心使用，確保數據私密且受保護。

Elasticsearch 中統一追蹤：所有 GPT-4o 和 GPT-4o-mini 的交互都記錄在 Elasticsearch 中。這種統一追蹤讓我們可以監控使用情況、收集反饋，并在所有 ElasticGPT 功能中保持一致的可觀測性。

Elastic 的 IT 團隊通過提供對多個 LLM 的安全訪問，降低了 shadow AI 的潛在影響。團隊目前正擴展支持其他 LLM，如 Anthropic 的 Claude 系列和 Google 的 Gemini 系列。

為什么平臺化方法是制勝之道

在我們自有平臺上構建 ElasticGPT，不只是務實之舉，更是戰略上的成功。原因如下：

• 無縫集成：每個組件 —— Enterprise Connectors、Elasticsearch、EUI、APM —— 像拼圖一樣契合，消除摩擦與兼容性問題。
• 按需擴展：Elastic Cloud 的自動擴展確保 ElasticGPT 隨我們成長，可支持數百乃至數千用戶而不受影響。
• 內置安全：SSO、加密及 Elastic 的安全功能鎖定內部數據，確保合規與信任。
• 實時監控：Elasticsearch、Elastic Observability 和 Kibana 分析儀表板揭示 ElasticGPT 的使用情況、優勢與可優化之處，助力持續改進。

這一平臺化方法打造出 v1 版本，已大幅減少重復 IT 問詢并提升員工效率。并且，由于它構建于我們的 Search AI Platform 上，我們可以跟隨生成式 AI 的發展快速迭代。

接下來？

在持續推進 ElasticGPT 的同時，我們將廣泛使用強大的 Elastic 技術棧，利用諸如 “Semantic Text” 字段類型、推理端點和 LLM 可觀測性等新功能，持續測試和應用最新能力。

同時，隨著 agentic AI 的興起，ElasticGPT 將演進為集成專用 AI agent，以簡化工作流、大幅提升生產力，并改善所有 Elastic 員工的日常體驗。

今天就開始構建生成式 AI 應用

準備好自己動手了嗎？訪問我們的免費 AI playground，立即開始構建。

本文所述任何功能或特性的發布與時間安排完全由 Elastic 自行決定。任何當前尚未發布的功能或特性，可能不會按時交付，甚至可能不會交付。

本文中可能使用或提及了第三方生成式 AI 工具，其所有權與運營權歸其各自所有者所有。Elastic 不控制這些第三方工具，亦不對其內容、運行或使用承擔任何責任，也不對你使用此類工具而造成的任何損失或損害承擔責任。使用 AI 工具時，請謹慎處理個人、敏感或機密信息。你提交的任何數據可能會被用于 AI 訓練或其他用途，不能保證信息的安全或保密性。使用前，你應了解任何生成式 AI 工具的隱私政策和使用條款。

Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 及相關標志為 Elasticsearch N.V. 在美國及其他國家的商標、徽標或注冊商標。其他所有公司與產品名稱均為其各自所有者的商標、徽標或注冊商標。

原文：Generative AI for Elastic’s workforce: Under the hood of ElasticGPT | Elastic Blog