從文本生成到數據增強：探索 AI 前沿的開源套件

Significant-Gravitas/AutoGPT

Stars: 150.4k License: MIT

AutoGPT 是開源 AI 代理生態系統的核心工具包。它采用模塊化和可擴展的框架，使您能夠專注于以下方面：

構建 - 為驚人之作打下基礎。
測試 - 將您的代理調整到完美狀態。
查看 - 觀察進展成果呈現出來。

AutoGPT 始終處于 AI 創新前沿，并提供了開源生態系統中冠軍代碼庫所需功能。
在我們目前進行基準測試的所有 Agent 中，AutoGPT 得分最高。

langchain-ai/langchain

Stars: 61.3k License: MIT

LangChain 是一個用于通過組合性構建 LLMs 應用程序的庫。

LLMs 和 Prompts：包括 prompt 管理、prompt 優化、所有 LLM 的通用接口以及與 LLMs 一起使用的常見工具。
Chains：超越單個 LLM 調用，涉及到多次調用 (無論是對 LLM 還是其他實用工具)。LangChain 為鏈提供了標準接口、許多與其他工具集成的功能，并提供了常見應用程序的端到端鏈示例。
數據增強生成：數據增強生成涉及特定類型的鏈首先與外部數據源進行交互，獲取在生成步驟中使用的數據。例如長文本摘要和針對特定數據源進行問答等。
Agents：代理機制使得 LLMS 可以決策采取哪些行動，執行該操作并觀察結果，然后重復此過程直至完成。LangChain 提供了代理機制的標準界面，多種可選代理模型和完整示例。
Memory：內存指持久保存 chain/agent 調度之間狀態信息。Langchain 提供內存方案標準接口，同時也有大量相關代碼示例
Evaluation：[BETA] 使用傳統評估方法很難評估產生式模型。一種新穎方式是利用語言模型自身來做這項評估。LangChain 提供了一些輔助這種方式的 prompt/chain

nanoGPT 是一個用于訓練/微調中型 GPT 的最簡單、最快速的存儲庫。它是 minGPT 的重寫，注重實踐而非教育。該項目仍在積極開發中，但目前文件 train.py 可以在 OpenWebText 上復現運行時間約為4天，在一臺 8XA100 40GB 節點上進行訓練，并且能夠復制出 GPT-2 (124M) 模型。代碼本身很簡潔易懂：train.py 只有大約 300 行樣板化訓練循環代碼和 model.py 只有大約 300 行 GPT 模型定義，可選擇從 OpenAI 加載 GTP-2 的權重。這就是全部。

訓練/微調中等規模的語言生成模型
簡單易讀：由于代碼十分簡潔，因此非常容易根據個人需求進行修改。
快速高效：在適當硬件資源下，能夠在較短時間內完成對不同數據集大小及網絡結構參數設置下的語言生成任務。

mindsdb/mindsdb

Stars: 18.4k License: GPL-3.0

MindsDB 是一個開源項目，它的主要功能是將任何 AI/ML 模型連接到任何數據源。該項目提供以下核心優勢和關鍵特點：

Hook AI 模型在觀察到新數據時自動運行，并將輸出插入我們的任何集成中。
從我們支持的 130 多個數據源中包含的數據自動訓練和微調 AI 模型。
可以使用演示環境來嘗試 MindsDB 并使用最常見用例的樣本數據。
提供了安裝指南以及完整文檔、社區支持等資源。

guidance-ai/guidance

Stars: 12.7k License: MIT

Guidance 是一個強大的工具，可以讓您更有效地掌控現代語言模型，無論您是開發者、設計師還是跨職能團隊。它允許您以一種簡單直觀的語法，基于 Handlebars 模板，實現文本生成、提示和邏輯控制的混合，產生清晰和易于理解的輸出結構。它支持Jupyter/VSCode筆記本中的實時流式處理，可用于快速開發和測試復雜的模板和生成。此外，Guidance 還提供了模型加速功能，可在處理多個生成或 LLM（大型語言模型）控制流語句時顯著提高推理性能，從而提供更快的結果。
Guidance 具有以下主要特點：

簡單、直觀的語法，基于 Handlebars 模板。
豐富的輸出結構，包括多個生成、選擇、條件、工具使用等。
在 Jupyter/VSCode 筆記本中的實時流式處理，提高了模板開發效率。
智能的基于種子的生成緩存，優化了生成速度。
支持基于角色的聊天模型（如 ChatGPT ）的輕松集成。
與 Hugging Face 模型的輕松集成，包括提供模型加速、邊界優化和正則表達式模式引導等功能。
Guidance 的目標是使文本生成和模型控制更加靈活、高效，為開發者和團隊提供更多自由度和便利性。它適用于多種用途，包括自然語言生成、文本處理和實時流式處理。

無論您是初學者還是經驗豐富的開發者，Guidance都能為您的項目帶來便利和效率，是一個值得嘗試的開源工具。

openai/evals

Stars: 12.3k License: NOASSERTION

OpenAI Evals 是一個用于評估 LLMs (大型語言模型) 或使用 LLMs 作為組件構建的系統的框架。它還包括一個具有挑戰性 evals 的開源注冊表。Evals 現在支持通過 Completion Function Protocol 評估任何系統，包括 prompt chains 或 tool-using agents 的行為。通過 Evals，我們旨在盡可能簡單地構建 eval，并編寫盡量少的代碼。“Eval” 是用于評估系統行為質量的任務。