LM Studio

LM Studio是一款支持離線大模型部署的推理服務框架，提供了易用的大模型部署web框架，支持Linux、Mac、Windows等平臺，并提供了OpenAI兼容的SDK接口，主要使用LLama.cpp和MLX推理后端，在Mac上部署時選擇MLX推理后端會顯著提升大模型的生成速度。

環境信息

• 機器信息：Mac studio M2 192G， MacOS
• 部署模型：部署DeepSeek-R1-Distill-LLama-70B 8bit / DeepSeek-R1-Distill-Qwen-32B 8bit 模型
• 部署框架：LM Studio 0.3.13

安裝

• LM Studio官網下載安裝文件，正常安裝即可。
  

模型下載

通過命令行或者web界面進行大模型下載時，默認走huggingface.co，國內需要特殊設置才能訪問，因此推薦換掉該源使用modelscope或者hf-mirror進行下載。

• 下載源更換：
  • 命令行進入目錄：/Applications/LM Studio.app/Contents/Resources/app/.webpack，執行open . ，會以文件形式彈出該目錄
  • 文本編輯器分別打開文件：main/index.js和rederer/main_window.js，選擇用 modelscope.cn 或者 hf-mirror.com 替換掉 huggingface.co，全部替換，保存關閉
  • 重啟LM Studio即可。
• 大模型下載：
  • 方式一：web頁面下載
    在web頁面選擇需要下載的大模型，等待完成即可，完成后在web界面l或者命令行load（lms load [模型名稱]）。
  • 方式二：命令行形式下載
    在命令窗口使用命令 lms get [model name], 模型名稱需要上述下載源里面存在，完成后在web界面l或者命令行load（lms load [模型名稱]）。
  • 方式三：Git lfs 下載
    上述兩種方式，我這兒下載時經常遇到下載暫停的形象，為解決這個問題，推薦 Git 大文件下載方式（推薦Modelscope）。
    • 安裝Git lfs、初始化git lfs，可自行deepseek問下。
    • 模型下載后（Mac上通常選擇mlx-community倉庫中的mlx模型）將其放入目錄：~/.lmstudio/models，結構是：倉庫名稱(可自定義)->包含文件權重的文件夾（文件夾名稱可自定義）
    • 最后在web界面l或者命令行load（lms load [模型名稱]）。
    • 注意：也可通過lms imort命令去導入，但是文件夾下只能含有一個文件，而safetensors文件基本是多個，所以不是很推薦

模型服務

• 模型load完成后，可在web頁面聊天，lm studio自帶web聊天界面
• 模型load完成后，可使用OpenAI SDK接口調用，若提供給局域網其他使用，需開啟local server模型并開啟局域網訪問，可在web界面操作

參考文獻

• LM Studio Docs
• 在 MacOS 上為 LM Studio 更換鏡像源