創建環境

激活案件

安裝相關依賴

conda create -n fastApi python=3.10
conda activate fastApi
conda install -c conda-forge fastapi uvicorn transformers pytorch
pip install safetensors sentencepiece protobuf

?新建文件夾

mkdir App
cd App
touch main.py

復制代碼main.py

from fastapi import FastAPI
from transformers import AutoModelForCausalLM, AutoTokenizer
import torchapp = FastAPI()# 模型路徑
model_path = "/root/autodl-tmp/Models/deepseek-r1-1.5b-merged"# 加載 tokenizer （分詞器）
tokenizer = AutoTokenizer.from_pretrained(model_path)# 加載模型并移動到可用設備（GPU/CPU）
device = "cuda" if torch.cuda.is_available() else "cpu"
model = AutoModelForCausalLM.from_pretrained(model_path).to(device)@app.get("/generate")
async def generate_text(prompt: str):# 使用 tokenizer 編碼輸入的 promptinputs = tokenizer(prompt, return_tensors="pt").to(device)# 使用模型生成文本outputs = model.generate(inputs["input_ids"], max_length=150)# 解碼生成的輸出generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)return {"generated_text": generated_text}

運行app.py文件

uvicorn main:app --reload --host 0.0.0.0

?可能報錯，升級 huggingface-hub，運行以下命令升級到兼容版本

pip install --upgrade huggingface-hub
uvicorn main:app --reload --host 0.0.0.0

瀏覽器打開

http://localhost:8000/docs

后端接口?

?然后就是做一個網站調用大模型接口，類似如下

前端項目：https://github.com/huangyf2013320506/magic_conch_frontend.git

npm instal1
npm run dev

后端項目：https://github.com/huangyf2013320506/magic_conch_backend.git

記得把jdk改一下，之前一直用的是1.8

把網址改成"http://127.0.0.1:5173"，因為前端網址是這?

?編譯一下?

?然后運行啟動就行，注意要在在MagicconchBackendApplication.java 類中啟動