本文通過不使用官方鏡像,自己在910b 進行華為mindie的鏡像制作,可離線安裝部署。
硬件:cann 8.0
1. 部署參考文檔:
安裝依賴-安裝開發環境-MindIE安裝指南-MindIE1.0.0開發文檔-昇騰社區
2. 參數說明文檔:https://www.hiascend.com/document/detail/zh/mindie/100/mindieservice/servicedev/mindie_service0285.html#ZH-CN_TOPIC_0000002186689269__section27371398218
3. 必備資源包:
ATB Models 安裝包:Ascend-mindie-atb-models_1.0.0_linux-aarch64_py310_torch2.1.0-abi0.tar.gz
torch_npu 安裝包:torch_npu-2.1.0.post10-cp310-cp310-manylinux_2_17_aarch64.manylinux2014_aarch64.whl
Mindie安裝包: Ascend-mindie_1.0.0_linux-aarch64.run
requirements.txt 文件包。然后安裝 pip install -r requirements.txt
gevent==22.10.2
python-rapidjson>=1.6
geventhttpclient==2.0.11
urllib3>=2.1.0
greenlet==3.0.3
zope.event==5.0
zope.interface==6.1
prettytable~=3.5.0
jsonschema~=4.21.1
jsonlines~=4.0.0
thefuzz~=0.22.1
pyarrow~=15.0.0
pydantic~=2.6.3
sacrebleu~=2.4.2
rouge_score~=0.1.2
pillow~=10.3.0
requests~=2.31.0
matplotlib>=1.3.0
text_generation~=0.7.0
numpy~=1.26.3
pandas~=2.1.4
transformers>=4.44.0
tritonclient[all]
colossalai==0.4.0
make
net-tools
protobuf==3.20
decorator>=4.4.0
sympy>=1.5.1
cffi>=1.12.3
attrs
cython
pyyaml
pathlib2
psutil
scipy
absl-py
4. 安裝torch-npu
pip install torch_npu-2.1.0.post10-cp310-cp310-manylinux_2_17_aarch64.manylinux2014_aarch64.whl
5. 安裝atb-models。注意這個文件解壓到任何文件夾都可以,