說明

終于開張了，我覺得AI機器人是一件真正正確，具有商業價值的事。

把AI機器人當成一筆生意，我如何做好這筆生意？一端是業務價值，另一端是技術支撐。如何構造高質量的內容和服務，如何確保技術的廣度和深度？

正好在做這件事，所以我想不太多談技術，把核心的理念和故事串一串。為技術而技術是沒有價值的，為商業價值而產品又是沒有生命力的，怎么讓商業背后自然銜接到技術，而技術又如何自然衍生出商業價值，這是最為關鍵的。

內容

1 Manus

最近這個話題很火，就不多說了。有一點是，大家都模模糊糊的有了大致的方向，而且其實很多都是殊途同歸的。不管怎么樣，manus炒作了一把，我覺得也算是一個poc，大家可以有一些共識。

2 AI機器人

我現在的應用，是在現在的產品中嵌入一個機器人，精確基于產品的數據，而非大模型的通用能力回答問題。

時間非常緊張，大約在2周時間，完成了從poc，到上線的過程。整體上還是屬于達到且稍微超過預期的一個狀態，還有不少缺點，但能夠用了。

還是挺感謝老板理解的，因為時間這么短，里面有很多東西是非常粗糙的，但正如馬斯克說的：東西先做出來最重要，慢慢會改好的。

然后在這段時間內發現按常規方法是行不通的：anythingllm, dify, langchain， 這些成熟的套件工具沒有那么熟，其實嘗試過，發現在很多地方“不聽話”，很難控制好。另外，關于數據應該怎么整合，如何描述給大模型完成對接，也沒法按教科書那樣去做。

整個過程我就奔著一個上線目標，想想第一性原理，然后迅速推進。然后我覺得有很多東西 （還有待驗證）可能也如馬斯克說的：世界就是一群草臺班子構成的。

我用自己零散的工具和知識，也完成類似RAG和Agent Flow這樣的效果，而且，似乎這個是可以不斷疊加，最后由強化學習去自我優化的。我想用那些成熟工具也許是更浪費時間，而且可能是沒法達到我的目標的。

自己用零件進行開發和拼裝，爭取在半年左右把AI機器人作出高度

這又回到我的二八理論，最終要登頂還是要靠自己。

3 結構

還是會稍微提到一點技術

• 1 向量化。為了 更好的進行語義相似性匹配，還是需要把用戶的問題轉為向量。
• 2 向量數據庫。用于存儲和檢索近似的問題。
• 3 FastAPI。構造流式響應服務。
• 4 Redis。存儲各種緩存，包括當前的知識數據。
• 5 Kafka。保存會話數據。
• 6 大模型接口。完成邏輯判斷，數據整合分析。

其實可以看到，這個結構是非常簡陋的，但是可以行得通。

4 問題

• 1 服務的并發性。這個算是部分解決了，但還不夠徹底。向量化的服務本來是處理批量數據的，但是在問答情況下只能一次一條，影響并發。
• 2 當前的會話，前端沒有帶歷史消息，回答有時看起來就會很傻。
• 3 要問的很具體才有效。由于數據是簡單糅合的，如果用戶的問題偏了，機器人不會拉回來對齊，然后回答的質量就很低。
• 4 很慢。簡單問題1-3秒開始輸出，中等問題大約要5-10秒才會看到回復，復雜問題可能會30秒， 這個從體驗上很糟糕。
• 5 沒有過程輸出。除了一個思考中的提示，沒有給到中間過程。

5 第一期的改進

• 1 讓前端帶2輪歷史會話。
• 2 用session_id的方式，讓前端可以輪詢到整個任務框架和任務完成情況
• 3 確保能夠統計到用戶訪問和使用的各種情況。

小步快跑，后面我再持續更新。