最近到禍一臺HUAWEI Kunpeng 920 5250，先看看配置。之前是部署的訊飛大模型，發現資源利用率太低了。把5臺減少到3臺，就出了他
硬件配置信息
基本硬件信息
按照慣例先來看看配置。一共3塊盤，500G的系統盤，+ 2塊3T固態，后面把固態硬盤也組合成了邏輯卷
內存是1.5T的，比我電腦硬盤都大
[root@localhost ~]# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sda 8:0 0 446.6G 0 disk
├─sda1 8:1 0 600M 0 part /boot/efi
├─sda2 8:2 0 1G 0 part /boot
└─sda3 8:3 0 445G 0 part ├─openeuler-root 253:0 0 70G 0 lvm /├─openeuler-swap 253:1 0 4G 0 lvm [SWAP]└─openeuler-home 253:2 0 371G 0 lvm /home
nvme1n1 259:0 0 2.9T 0 disk
└─nvme1n1p1 259:4 0 2.9T 0 part └─vg_data01-lv_data01 253:3 0 5.8T 0 lvm /data
nvme0n1 259:1 0 2.9T 0 disk
└─nvme0n1p1 259:3 0 2.9T 0 part └─vg_data01-lv_data01 253:3 0 5.8T 0 lvm /data[root@localhost ~]# df -Th | awk '$2 !~ /overlay/ && $2 !~ /tmpfs/'
文件系統 類型 容量 已用 可用 已用% 掛載點
/dev/mapper/openeuler-root ext4 69G 45G 21G 69% /
/dev/sda2 ext4 974M 72M 835M 8% /boot
/dev/sda1 vfat 599M 5.8M 594M 1% /boot/efi
/dev/mapper/openeuler-home ext4 365G 4.6G 342G 2% /home
/dev/mapper/vg_data01-lv_data01 ext4 5.8T 4.3T 1.3T 78% /data
[root@localhost ~]# cat /etc/os-release
NAME="openEuler"
VERSION="22.03 LTS"
ID="openEuler"
VERSION_ID="22.03"
PRETTY_NAME="openEuler 22.03 LTS"
ANSI_COLOR="0;31"[root@localhost ~]# uname -a
Linux localhost.localdomain 5.10.0-60.18.0.50.oe2203.aarch64 #1 SMP Wed Mar 30 02:43:08 UTC 2022 aarch64 aarch64 aarch64 GNU/Linux
[root@localhost ~]# lscpu
架構： aarch64CPU 運行模式： 64-bit字節序： Little Endian
CPU: 192在線 CPU 列表： 0-191
廠商 ID： HiSiliconBIOS Vendor ID: HiSilicon型號名稱： Kunpeng-920BIOS Model name: HUAWEI Kunpeng 920 5250型號： 0每個核的線程數： 1每個座的核數： 48座： 4步進： 0x1Frequency boost: disabledCPU 最大 MHz： 2600.0000CPU 最小 MHz： 200.0000BogoMIPS： 200.00標記： fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma dcpop asimddp asimdfhm ssbs
Caches (sum of all): L1d: 12 MiB (192 instances)L1i: 12 MiB (192 instances)L2: 96 MiB (192 instances)L3: 192 MiB (8 instances)
NUMA: NUMA 節點： 8NUMA 節點0 CPU： 0-23NUMA 節點1 CPU： 24-47NUMA 節點2 CPU： 48-71NUMA 節點3 CPU： 72-95NUMA 節點4 CPU： 96-119NUMA 節點5 CPU： 120-143NUMA 節點6 CPU： 144-167NUMA 節點7 CPU： 168-191
Vulnerabilities: Itlb multihit: Not affectedL1tf: Not affectedMds: Not affectedMeltdown: Not affectedSpec store bypass: Mitigation; Speculative Store Bypass disabled via prctlSpectre v1: Mitigation; __user pointer sanitizationSpectre v2: Not affectedSrbds: Not affectedTsx async abort: Not affected
[root@localhost ~]# free -htotal used free shared buff/cache available
Mem: 1.5Ti 12Gi 26Gi 20Mi 1.4Ti 1.5Ti
Swap: 4.0Gi 12Mi 4.0Gi
NPU/GPU信息
由于沒有部署任何AI、模型，所以空載著
[root@localhost ~]# npu-smi info
+------------------------------------------------------------------------------------------------+
| npu-smi 24.1.rc1 Version: 24.1.rc1 |
+---------------------------+---------------+----------------------------------------------------+
| NPU Name | Health | Power(W) Temp(C) Hugepages-Usage(page)|
| Chip | Bus-Id | AICore(%) Memory-Usage(MB) HBM-Usage(MB) |
+===========================+===============+====================================================+
| 0 910B3 | OK | 89.7 35 0 / 0 |
| 0 | 0000:C1:00.0 | 0 0 / 0 3159 / 65536 |
+===========================+===============+====================================================+
| 1 910B3 | OK | 88.6 38 0 / 0 |
| 0 | 0000:C2:00.0 | 0 0 / 0 3159 / 65536 |
+===========================+===============+====================================================+
| 2 910B3 | OK | 91.8 36 0 / 0 |
| 0 | 0000:81:00.0 | 0 0 / 0 3159 / 65536 |
+===========================+===============+====================================================+
| 3 910B3 | OK | 87.2 36 0 / 0 |
| 0 | 0000:82:00.0 | 0 0 / 0 3159 / 65536 |
+===========================+===============+====================================================+
| 4 910B3 | OK | 88.8 41 0 / 0 |
| 0 | 0000:01:00.0 | 0 0 / 0 3159 / 65536 |
+===========================+===============+====================================================+
| 5 910B3 | OK | 95.7 44 0 / 0 |
| 0 | 0000:02:00.0 | 0 0 / 0 3159 / 65536 |
+===========================+===============+====================================================+
| 6 910B3 | OK | 93.5 39 0 / 0 |
| 0 | 0000:41:00.0 | 0 0 / 0 3160 / 65536 |
+===========================+===============+====================================================+
| 7 910B3 | OK | 89.2 40 0 / 0 |
| 0 | 0000:42:00.0 | 0 0 / 0 3160 / 65536 |
+===========================+===============+====================================================+
+---------------------------+---------------+----------------------------------------------------+
| NPU Chip | Process id | Process name | Process memory(MB) |
+===========================+===============+====================================================+
| No running processes found in NPU 0 |
+===========================+===============+====================================================+
| No running processes found in NPU 1 |
+===========================+===============+====================================================+
| No running processes found in NPU 2 |
+===========================+===============+====================================================+
開始部署DeepSeek
ollama方法
根據網上資料看，只要用ollama部署就行，后面發現這個行不通。因為ollama只適配了英偉達的GPU，像華為的根本就行不通啊，
ollama的安裝腳本也是去下載英偉達的驅動，結果就是下載失敗，就算下載成功了也不能安裝上去
https://zhuanlan.zhihu.com/p/22081569918
0
最后折騰了很久
使用 nohup ollama run
部署一個1.5B的試試，發現可以運行了。但是總覺得不對境。回答問題太慢了，用時3分鐘。CPU使用率也是狂飆。NPU是一點沒有使上勁啊
ollama run deepseek-r1:1.5b
容器部署方法
最后決定下載權重+容器部署。結果這里就有遇到了坑點
需要用到git lfs 工具 和 華為的鏡像。因為這是ARM服務器，所有git lfs命令也很難找，歐拉的yum源還沒有提供，最后翻來覆去在github最新的V3.6.1找到了。使用二進制命令接安裝腳本既可以實現。這樣就能通過git install ，git push 去拉取近1TB的權重了
https://github.com/git-lfs/git-lfs/releases
再說說這個華為的鏡像吧，不得不吐槽。華為這是把鏡像當寶貝供著嗎，下載還需要申請權限，不是一般人還申請不下來。還好我們這里條件都滿足
晚上提交的申請，第二天早上就通過了
最后參照了好幾個教程，不是啟動失敗，就吃出現權限拒絕，服了
華為服務器社區：https://www.hiascend.com/software/modelzoo/models/detail/68457b8a51324310aad9a0f55c3e56e3
天翼云社區： https://www.ctyun.cn/document/10027724/10944583
部署R1模型提示不兼容…
天翼云社區： https://www.ctyun.cn/document/10027724/10944583
[外鏈圖片轉存中…(img-LlsPC4Gm-1739689559814)]
部署R1模型提示不兼容…
)
)
 》)