TensorZero 是一個開源的 LLM（大語言模型）應用全鏈路優化平臺，聚焦于“數據—評估—優化—實驗”自動化閉環，極大提升 LLM 產品的可觀測性、可優化性和可擴展性。無論你是 GPT 應用開發者，還是需要管理和提升 LLM 服務質量的團隊，TensorZero 都能幫你更快、更穩地跑通研發和運維全流程。
? 主要功能亮點
1. 高性能 LLM Gateway
- Rust 編寫，主打超低延遲（P99 < 1ms），支持高并發 QPS 需求。
- 支持主流 LLM 平臺：OpenAI、Anthropic、Bedrock、Gemini、vLLM、Qianwen 等。
- 提供統一 API 與多模型路由，極易集成現有業務。
2. 全鏈路可觀測性
- 自動記錄每一次 LLM 推理與用戶反饋，入庫 ClickHouse。
- 支持詳細的請求日志、指標趨勢、模型版本表現分析。
- 配套 UI 面板，可視化指標、調用明細一覽無余。
3. 自動化優化與實驗
- 收集數據后支持自動模板優化、路由策略微調、模型選擇和 A/B 測試。
- 一鍵觸發監督微調和偏好微調（如 RLAIF），支持多種調優方式。
- GitOps 管理配置和實驗流程，便于團隊協作和回滾。
4. 評估與對比分析
- 提供靜態/動態測試，支持多模型對比和版本回溯。
- 豐富的指標體系（準確率、耗時、token 用量等），助力工程調優。
?? 5分鐘快速上手
1. 安裝與部署
git clone https://github.com/tensorzero/tensorzero.git
cd tensorzero
docker compose up -d
2. 配置你的 LLM 服務
編輯 tensorzero.toml，填寫你的模型 API key 和調用函數。例如：
[[functions]]
name = "haiku"
prompt_template = "Write a haiku about {{topic}}."
models = ["openai:gpt-4-turbo"]
3. Python/HTTP 端調用
import tensorzeroclient = tensorzero.Client("http://localhost:5555")
result = client.run("haiku", topic="spring rain")
print(result.output)
4. 打開 UI 面板，實時監控調用與優化建議！
🛠 技術優勢
- 極致性能：Rust 實現，接口延遲 <1ms，10k QPS 級別穩定。
- 功能閉環：可觀測、評估、實驗、優化一站式解決。
- 易用可擴展：支持自定義 pipeline、豐富插件，自動接入業務數據和反饋。
🎯 應用場景
- 復雜 LLM 應用開發與運維（AI 助理、客服、內容生成、RAG 檢索等）
- 自動化 A/B 測試與迭代實驗
- 企業自有大模型服務監控與優化
- 多云/多模型高可用架構
🌟 團隊與社區
- 核心成員來自 CMU、斯坦福、牛津等，工程經驗豐富。
- 社區活躍，官方文檔詳細，支持 Issue、Discussions 技術答疑。
📄 參考鏈接
- GitHub 倉庫
- 官方文檔
- Demo 視頻和案例
📫 如果你有好的建議或意見，歡迎私信或評論區留言交流~
