前言

在本文中，我們將看到在本地運行任何 LLM 的不同方法

1/ LMStudio

LM Studio 是一款桌面應用程序，用于在計算機上運行本地 LLM。鏈接：https://lmstudio.ai/

2/ Ollama

Ollama 是一款工具，可讓您在機器上本地運行開源大型語言模型 (LLM)。它支持多種模型，包括 Llama 2、Code Llama 等。它將模型權重、配置和數據捆綁到一個由 Modelfile 定義的包中。鏈接：https://ollama.com/

3/ HuggingFace 和 Transformer

Hugging Face 是機器學習和人工智能的 Docker Hub 版本，提供大量開源模型。Hugging Face 還提供 transformers，這是一個 Python 庫，可簡化本地運行 LLM 的過程。示例：如何運行 Microsoft 的 Phi 2import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

torch.set_default_device("cuda")

model = AutoModelForCausalLM.from_pretrained("microsoft/phi-2", torch_dtype="auto", trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("microsoft/phi-2", trust_remote_code=True)

inputs = tokenizer('''def print_prime(n):
"""
Print all primes between 1 and n
"""''', return_tensors="pt", return_attention_mask=False)

outputs = model.generate(**inputs, max_length=200)
text = tokenizer.batch_decode(outputs)[0]
print(text)

4/ LangChain

LangChain 是一個用于構建 AI 應用程序的 Python 框架。它提供抽象和中間件，以便在其支持的模型之一之上開發 AI 應用程序。例如，以下代碼向 Microsoft/DialoGPT-medium 模型提出一個問題：from langchain.llms.huggingface_pipeline import HuggingFacePipeline

hf = HuggingFacePipeline.from_model_id(
model_id="microsoft/DialoGPT-medium", task="text-generation", pipeline_kwargs={"max_new_tokens": 200, "pad_token_id": 50256},
)

from langchain.prompts import PromptTemplate

template = """Question: {question}

Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)

chain = prompt | hf

question = "What is electroencephalography?"

print(chain.invoke({"question": question}))

5/ Llama.cpp

Llama.cpp 是一個基于 C 和 C++ 的 LLM 推理引擎，針對 Apple 芯片進行了優化，并運行 Meta 的 Llama2 模型。鏈接：https: //github.com/ggerganov/llama.cpp

6/ LlamaFile

由 Mozilla 開發，為運行 LLM 提供了一種用戶友好的替代方案。Llamafile 以其可移植性和創建單文件可執行文件的能力而聞名。鏈接：https ://github.com/Mozilla-Ocho/llamafile

7/ Jan.ai

Jan通過在您的計算機上本地運行 LLM ，將您的計算機變成AI機器。這是一個注重隱私、本地優先的開源解決方案。鏈接：https://jan.ai/

8/ LLM

Simon Willison 的 LLM 是我見過的在自己的機器上下載和使用開源 LLM 的更簡單的方法之一。雖然你需要安裝 Python 才能運行它，但你不需要接觸任何 Python 代碼。如果你在 Mac 上使用 Homebrew，只需安裝pip install llm

LLM 默認使用 OpenAI 模型，但您可以使用插件在本地運行其他模型。例如，如果您安裝 gpt4all 插件，您將可以訪問 GPT4All 中的其他本地模型。此外還有適用于 llama、MLC 項目和 MPT-30B 的插件，以及其他遠程模型。

使用 LLM install model-name 在命令行上安裝插件：llm install llm-gpt4all

要向本地 LLM 發送查詢，請使用以下語法：llm -m the-model-name "Your query"

9/ GPT4ALL

GPT4ALL 是一款易于使用的桌面應用程序，具有直觀的 GUI。它支持本地模型運行，并通過 API 密鑰提供與 OpenAI 的連接。它以處理本地文檔以獲取上下文、確保隱私的能力而脫穎而出。鏈接：https: //gpt4all.io/index.html

10/ H2OGPT

h2oGPT 簡化了創建私人 LLM 的過程。它包括一個大型語言模型、一個嵌入模型、一個用于文檔嵌入的數據庫、一個命令行界面和一個圖形用戶界面。

用戶名和密碼隨便填，你可以在這里測試：https://gpt.h2o.ai/

鏈接：https://github.com/h2oai/h2ogpt

11/ LocalLLM

顧名思義，您還可以使用它運行本地 LLM！鏈接：https://github.com/GoogleCloudPlatform/localllm

12/ Oobabooga

適用于大型語言模型的 Gradio Web UI。其目標是成為文本生成的 AUTOMATIC1111/stable-diffusion-webui。鏈接：https: //github.com/oobabooga/text-generation-webui

13/ Koboldcpp

您可以從以下鏈接下載它的最新版本：https://github.com/LostRuins/koboldcpp/releases。

14/ LocalAI

LocalAI 是免費的開源 OpenAI 替代品。LocalAI 可作為替代 REST API，與 OpenAI（Elevenlabs、Anthropic……）API 規范兼容，用于本地 AI 推理。它允許您在本地或使用消費級硬件在本地運行 LLM、生成圖像和音頻（不止于此），支持多種模型系列。不需要 GPU。鏈接：https: //github.com/mudler/LocalAI

15/ EXUI

這是一個簡單、輕量級的基于瀏覽器的 UI，用于使用 ExLlamaV2 運行本地推理。鏈接：https: //github.com/turboderp/exui

16/ vLLM士

vLLM 是一個快速且易于使用的 LLM 推理和服務庫。安裝非常簡單pip install vllm

鏈接：https://github.com/vllm-project/vllm

17/ MLX

MLX 是 Apple 芯片上用于機器學習研究的陣列框架，由 Apple 機器學習研究部門提供。您也可以托管本地 LLM

鏈接：https://github.com/ml-explore/mlx

18/ CTranslate2

CTranslate2 是一個 C++ 和 Python 庫，用于使用 Transformer 模型進行高效推理。目前支持以下模型類型：

• 編碼器-解碼器模型：Transformer base/big、M2M-100、NLLB、BART、mBART、Pegasus、T5、Whisper
• 僅解碼器模型：GPT-2、GPT-J、GPT-NeoX、OPT、BLOOM、MPT、Llama、Mistral、Gemma、CodeGen、GPTBigCode、Falcon
• 僅編碼器模型：BERT、DistilBERT、XLM-RoBERTa

鏈接：https://github.com/OpenNMT/CTranslate2

19/ Pinokio

一個不僅提供法學碩士學位，還提供多種解決方案的平臺。鏈接：https://pinokio.computer/

20/ PowerInfer

PowerInfer 是一款利用激活局部性為您的設備提供 CPU/GPU LLM 推理引擎。鏈接：https: //github.com/SJTU-IPADS/PowerInfer

21/ MLC LLM

MLC LLM 是一種通用解決方案，允許將任何語言模型本地部署在各種硬件后端和本機應用程序上。鏈接：https://llm.mlc.ai/

22/ TXTAI

運行并使用任何 LLM。鏈接：https://github.com/neuml/txtai

23/ RayLLM

RayLLM（原名 Aviary）是一款基于 Ray Serve 構建的 LLM 服務解決方案，可輕松部署和管理各種開源 LLM。鏈接：https://github.com/ray-project/ray-llm

24/ LlamaSharp

llama.cpp 的 C#/.NET 綁定。它提供更高級別的 API 來推斷 LLaMA 模型，并使用 C#/.NET 將其部署到本地設備上。它適用于 Windows、Linux 和 Mac，無需自行編譯 llama.cpp。即使沒有 GPU 或 GPU 內存不足，您仍然可以使用 LLaMA 模型！鏈接：https: //github.com/SciSharp/LLamaSharp

25/ LMQL

您可以在本地安裝 LMQL，也可以使用基于 Web 的 Playground IDE。要通過 Transformers 或 llama.cpp 使用自托管模型，您必須在本地安裝 LMQL。要在本地安裝 LMQL：pip install lmql
#Running LMQL Programs
lmql playground

更多信息：

• 文檔：https://lmql.ai/docs/
• 游樂場：https://lmql.ai/playground/

26/ AvaPLS

Ava PLS 是一款開源桌面應用程序，用于在您的計算機上本地運行語言模型。它允許您執行各種語言任務，如文本生成、語法校正、改寫、摘要、數據提取等。鏈接：https://avapls.com/

27/ LiteLLM

使用 OpenAI 格式調用所有 LLM API [Bedrock、Huggingface、VertexAI、TogetherAI、Azure、OpenAI 等] 鏈接：https ://github.com/BerriAI/litellm

28/ HammerAI

也沒有真正使用 LLM 開發 AI APP，但這款應用提供了在您自己的機器上使用 LLM 的聊天體驗，使用 HammerAI，您可以與在您的瀏覽器中本地運行的角色扮演 AI 角色聊天——100% 免費且完全私密。鏈接：https://www.hammerai.com/

29/ Bedrock/VertexAI

谷歌和亞馬遜提供法學碩士 (LLM) 托管解決方案

• 鏈接：https://aws.amazon.com/bedrock/
• 鏈接：https://cloud.google.com/vertex-ai

30/ 2Img.ai

大量的AI教程資源和LLM模型匯集。可以學習到很多。有一個本地化LLM的產品在孵化。等待她們的發布地址。

歡迎你分享你的作品到我們的平臺上. http://www.shxcj.com 或者 www.2img.ai 讓更多的人看到你的才華。

創作不易，覺得不錯的話，點個贊吧！！！