本文主要對開源的 vGPU 方案 HAMi 的 GPU Core&Memory 隔離功能進行測試。
省流：
HAMi vGPU 方案提供的 Core&Memory 隔離基本符合預期：
- Core 隔離：Pod 能使用的算力會圍繞設定值波動，但是一段時間內平均下來和申請的 gpucores 基本一致
- Memory 隔離：Pod 中申請的 GPU 內存超過設定值時會直接提示 CUDA OOM
1.環境準備
簡單說一下測試環境
- GPU：A40 * 2
- K8s：v1.23.17
- HAMi：v2.3.13
GPU 環境
使用 GPU-Operator 安裝 GPU 驅動、Container Runtime 之類的,參考 ->GPU 環境搭建指南：使用 GPU Operator 加速 Kubernetes GPU 環境搭建
然后安裝 HAMi,參考->開源 vGPU 方案：HAMi,實現細粒度 GPU 切分
測試環境
直接使用 torch 鏡像啟動 Pod 作為測試環境就好
docker pull pytorch/pytorch:2.4.1-cuda11.8-cudnn9-runtime
測試腳本
可以使用 PyTorch 提供的 Examples 作為測試腳本
https://github.com/pytorch/examples/tree/main/imagenet
這邊是一個訓練的 Demo，會打印每一步的時間，算力給的越低，每一步耗時也就越長。
具體用法也很簡單：
先克隆項目
git clone https://github.com/pytorch/examples.git
然后啟動服務模擬消耗 GPU 的任務即可
cd /mnt/imagenet/
python main.py -a resnet18 --dummy
配置
需要在 Pod 中注入環境變量 GPU_CORE_UTILIZATION_POLICY=force，默認的限制策略時該 GPU 只有一個 Pod 在使用時就不會做算力限制。
ps：這也算是一種優化，可以提升 GPU 利用率，反正閑著也是閑著，如果要強制限制就必須增加環境變量
完整 Yaml
以 hostPath 方式將 examples 項目掛載到 Pod 里進行測試，并將 command 配置為啟動命令。
通過配置 vGPU 限制為 30% 或者 60% 分別做測試。
完整 yaml 如下：
apiVersion: v1
kind: Pod
metadata:name: hami-30namespace: default
spec:containers:- name: simple-containerimage: pytorch/pytorch:2.4.1-cuda11.8-cudnn9-runtimecommand: ["python", "/mnt/imagenet/main.py", "-a", "resnet18", "--dummy"]# 使用 sleep infinity 保持容器持續運行resources:requests:cpu: "4"memory: "32Gi"nvidia.com/gpu: "1"nvidia.com/gpucores: "30"nvidia.com/gpumem: "20000"limits:cpu: "4"memory: "32Gi"nvidia.com/gpu: "1" # 1 個 GPUnvidia.com/gpucores: "30" # 申請使用 30% 算力nvidia.com/gpumem: "20000" # 申請 20G 顯存（單位為 MB）env:- name: GPU_CORE_UTILIZATION_POLICYvalue: "force" # 設置環境變量 GPU_CORE_UTILIZATION_POLICY 為 forcevolumeMounts:- name: imagenet-volumemountPath: /mnt/imagenet # 容器內掛載點- name: shm-volumemountPath: /dev/shm # 掛載共享內存到容器的 /dev/shmrestartPolicy: Nevervolumes:- name: imagenet-volumehostPath:path: /root/lixd/hami/examples/imagenet # 主機目錄路徑type: Directory- name: shm-volumeemptyDir:medium: Memory # 使用內存作為 emptyDir
2.Core 隔離測試
30%算力
gpucores 設置為 30% 效果如下：
[HAMI-core Msg(15:140523803275776:libvgpu.c:836)]: Initializing.....
[HAMI-core Warn(15:140523803275776:utils.c:183)]: get default cuda from (null)
[HAMI-core Msg(15:140523803275776:libvgpu.c:855)]: Initialized
/mnt/imagenet/main.py:110: UserWarning: nccl backend >=2.5 requires GPU count>1, see https://github.com/NVIDIA/nccl/issues/103 perhaps use 'gloo'warnings.warn("nccl backend >=2.5 requires GPU count>1, see https://github.com/NVIDIA/nccl/issues/103 perhaps use 'gloo'")
=> creating model 'resnet18'
=> Dummy data is used!
Epoch: [0][ 1/5005] Time 4.338 ( 4.338) Data 1.979 ( 1.979) Loss 7.0032e+00 (7.0032e+00) Acc@1 0.00 ( 0.00) Acc@5 0.00 ( 0.00)
Epoch: [0][ 11/5005] Time 0.605 ( 0.806) Data 0.000 ( 0.187) Loss 7.1570e+00 (7.0590e+00) Acc@1 0.00 ( 0.04) Acc@5 0.39 ( 0.39)
Epoch: [0][ 21/5005] Time 0.605 ( 0.706) Data 0.000 ( 0.098) Loss 7.1953e+00 (7.1103e+00) Acc@1 0.00 ( 0.06) Acc@5 0.39 ( 0.56)
Epoch: [0][ 31/5005] Time 0.605 ( 0.671) Data 0.000 ( 0.067) Loss 7.2163e+00 (7.1379e+00) Acc@1 0.00 ( 0.04) Acc@5 1.56 ( 0.55)
Epoch: [0][ 41/5005] Time 0.608 ( 0.656) Data 0.000 ( 0.051) Loss 7.2501e+00 (7.1549e+00) Acc@1 0.39 ( 0.07) Acc@5 0.39 ( 0.60)
Epoch: [0][ 51/5005] Time 0.611 ( 0.645) Data 0.000 ( 0.041) Loss 7.1290e+00 (7.1499e+00) Acc@1 0.00 ( 0.09) Acc@5 0.39 ( 0.60)
Epoch: [0][ 61/5005] Time 0.613 ( 0.639) Data 0.000 ( 0.035) Loss 6.9827e+00 (7.1310e+00) Acc@1 0.00 ( 0.12) Acc@5 0.39 ( 0.60)
Epoch: [0][ 71/5005] Time 0.610 ( 0.635) Data 0.000 ( 0.030) Loss 6.9808e+00 (7.1126e+00) Acc@1 0.00 ( 0.11) Acc@5 0.39 ( 0.61)
Epoch: [0][ 81/5005] Time 0.617 ( 0.630) Data 0.000 ( 0.027) Loss 6.9540e+00 (7.0947e+00) Acc@1 0.00 ( 0.11) Acc@5 0.78 ( 0.64)
Epoch: [0][ 91/5005] Time 0.608 ( 0.628) Data 0.000 ( 0.024) Loss 6.9248e+00 (7.0799e+00) Acc@1 1.17 ( 0.12) Acc@5 1.17 ( 0.64)
Epoch: [0][ 101/5005] Time 0.616 ( 0.626) Data 0.000 ( 0.022) Loss 6.9546e+00 (7.0664e+00) Acc@1 0.00 ( 0.11) Acc@5 0.39 ( 0.61)
Epoch: [0][ 111/5005] Time 0.610 ( 0.625) Data 0.000 ( 0.020) Loss 6.9371e+00 (7.0565e+00) Acc@1 0.00 ( 0.11) Acc@5 0.39 ( 0.61)
Epoch: [0][ 121/5005] Time 0.608 ( 0.621) Data 0.000 ( 0.018) Loss 6.9403e+00 (7.0473e+00) Acc@1 0.00 ( 0.11) Acc@5 0.78 ( 0.60)
Epoch: [0][ 131/5005] Time 0.611 ( 0.620) Data 0.000 ( 0.017) Loss 6.9016e+00 (7.0384e+00) Acc@1 0.00 ( 0.10) Acc@5 0.00 ( 0.59)
Epoch: [0][ 141/5005] Time 0.487 ( 0.619) Data 0.000 ( 0.016) Loss 6.9410e+00 (7.0310e+00) Acc@1 0.00 ( 0.10) Acc@5 0.39 ( 0.58)
Epoch: [0][ 151/5005] Time 0.608 ( 0.617) Data 0.000 ( 0.015) Loss 6.9647e+00 (7.0251e+00) Acc@1 0.00 ( 0.10) Acc@5 0.00 ( 0.56)
每一步耗時大概在 0.6 左右。
GPU 使用率
可以看到，使用率是圍繞著我們設定的目標值 30% 進行波動，在一個時間段內平均下來差不多就是 30% 左右。
60% 算力
60% 時的效果
root@j99cloudvm:~/lixd/hami# kubectl logs -f hami-60
[HAMI-core Msg(1:140477390922240:libvgpu.c:836)]: Initializing.....
[HAMI-core Warn(1:140477390922240:utils.c:183)]: get default cuda from (null)
[HAMI-core Msg(1:140477390922240:libvgpu.c:855)]: Initialized
/mnt/imagenet/main.py:110: UserWarning: nccl backend >=2.5 requires GPU count>1, see https://github.com/NVIDIA/nccl/issues/103 perhaps use 'gloo'warnings.warn("nccl backend >=2.5 requires GPU count>1, see https://github.com/NVIDIA/nccl/issues/103 perhaps use 'gloo'")
=> creating model 'resnet18'
=> Dummy data is used!
Epoch: [0][ 1/5005] Time 4.752 ( 4.752) Data 2.255 ( 2.255) Loss 7.0527e+00 (7.0527e+00) Acc@1 0.00 ( 0.00) Acc@5 0.39 ( 0.39)
Epoch: [0][ 11/5005] Time 0.227 ( 0.597) Data 0.000 ( 0.206) Loss 7.0772e+00 (7.0501e+00) Acc@1 0.00 ( 0.25) Acc@5 1.17 ( 0.78)
Epoch: [0][ 21/5005] Time 0.234 ( 0.413) Data 0.000 ( 0.129) Loss 7.0813e+00 (7.1149e+00) Acc@1 0.00 ( 0.20) Acc@5 0.39 ( 0.73)
Epoch: [0][ 31/5005] Time 0.401 ( 0.360) Data 0.325 ( 0.125) Loss 7.2436e+00 (7.1553e+00) Acc@1 0.00 ( 0.14) Acc@5 0.78 ( 0.67)
Epoch: [0][ 41/5005] Time 0.190 ( 0.336) Data 0.033 ( 0.119) Loss 7.0519e+00 (7.1684e+00) Acc@1 0.00 ( 0.10) Acc@5 0.00 ( 0.62)
Epoch: [0][ 51/5005] Time 0.627 ( 0.327) Data 0.536 ( 0.123) Loss 7.1113e+00 (7.1641e+00) Acc@1 0.00 ( 0.11) Acc@5 1.17 ( 0.67)
Epoch: [0][ 61/5005] Time 0.184 ( 0.306) Data 0.000 ( 0.109) Loss 7.0776e+00 (7.1532e+00) Acc@1 0.00 ( 0.10) Acc@5 0.78 ( 0.65)
Epoch: [0][ 71/5005] Time 0.413 ( 0.298) Data 0.343 ( 0.108) Loss 6.9763e+00 (7.1325e+00) Acc@1 0.39 ( 0.13) Acc@5 1.17 ( 0.67)
Epoch: [0][ 81/5005] Time 0.200 ( 0.289) Data 0.000 ( 0.103) Loss 6.9667e+00 (7.1155e+00) Acc@1 0.00 ( 0.13) Acc@5 1.17 ( 0.68)
Epoch: [0][ 91/5005] Time 0.301 ( 0.284) Data 0.219 ( 0.102) Loss 6.9920e+00 (7.0990e+00) Acc@1 0.00 ( 0.13) Acc@5 1.17 ( 0.67)
Epoch: [0][ 101/5005] Time 0.365 ( 0.280) Data 0.000 ( 0.097) Loss 6.9519e+00 (7.0846e+00) Acc@1 0.00 ( 0.12) Acc@5 0.39 ( 0.66)
Epoch: [0][ 111/5005] Time 0.239 ( 0.284) Data 0.000 ( 0.088) Loss 6.9559e+00 (7.0732e+00) Acc@1 0.39 ( 0.13) Acc@5 0.78 ( 0.62)
Epoch: [0][ 121/5005] Time 0.368 ( 0.286) Data 0.000 ( 0.082) Loss 6.9594e+00 (7.0626e+00) Acc@1 0.00 ( 0.13) Acc@5 0.78 ( 0.63)
Epoch: [0][ 131/5005] Time 0.363 ( 0.287) Data 0.000 ( 0.075) Loss 6.9408e+00 (7.0535e+00) Acc@1 0.00 ( 0.13) Acc@5 0.00 ( 0.60)
Epoch: [0][ 141/5005] Time 0.241 ( 0.288) Data 0.000 ( 0.070) Loss 6.9311e+00 (7.0456e+00) Acc@1 0.00 ( 0.12) Acc@5 0.00 ( 0.58)
Epoch: [0][ 151/5005] Time 0.367 ( 0.289) Data 0.000 ( 0.066) Loss 6.9441e+00 (7.0380e+00) Acc@1 0.00 ( 0.13) Acc@5 0.78 ( 0.58)
Epoch: [0][ 161/5005] Time 0.372 ( 0.290) Data 0.000 ( 0.062) Loss 6.9347e+00 (7.0317e+00) Acc@1 0.78 ( 0.13) Acc@5 1.56 ( 0.59)
Epoch: [0][ 171/5005] Time 0.241 ( 0.290) Data 0.000 ( 0.058) Loss 6.9432e+00 (7.0268e+00) Acc@1 0.00 ( 0.13) Acc@5 0.39 ( 0.58)
每一步時間是在 0.3 左右，30% 時時間是 0.6，降為了 50%，也符合算力從 30% 提升到 60% 翻倍的情況。
GPU 使用率則是
同樣是在一定范圍內波動，平均下來和限制的 60% 也基本一致。
3.Memory 隔離測試
只需要在 Pod Resource 中知道使用 20000M 內存
resources:requests:cpu: "4"memory: "8Gi"nvidia.com/gpu: "1"nvidia.com/gpucores: "60"nvidia.com/gpumem: "200000"
然后到 Pod 中查詢看到的就只有 20000M
root@hami-30:/mnt/b66582121706406e9797ffaf64a831b0# nvidia-smi
[HAMI-core Msg(68:139953433691968:libvgpu.c:836)]: Initializing.....
Mon Oct 14 13:14:23 2024
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.147.05 Driver Version: 525.147.05 CUDA Version: 12.0 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|===============================+======================+======================|
| 0 NVIDIA A40 Off | 00000000:00:07.0 Off | 0 |
| 0% 30C P8 29W / 300W | 0MiB / 20000MiB | 0% Default |
| | | N/A |
+-------------------------------+----------------------+----------------------++-----------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=============================================================================|
| No running processes found |
+-----------------------------------------------------------------------------+
[HAMI-core Msg(68:139953433691968:multiprocess_memory_limit.c:468)]: Calling exit handler 68
測試腳本
然后跑一個腳本測試 申請 20000M 之后是否就會 OOM
import torch
import sysdef allocate_memory(memory_size_mb):# 將 MB 轉換為字節數，并計算需要分配的 float32 元素個數num_elements = memory_size_mb * 1024 * 1024 // 4 # 1 float32 = 4 bytestry:# 嘗試分配顯存print(f"Attempting to allocate {memory_size_mb} MB on GPU...")x = torch.empty(num_elements, dtype=torch.float32, device='cuda')print(f"Successfully allocated {memory_size_mb} MB on GPU.")except RuntimeError as e:print(f"Failed to allocate {memory_size_mb} MB on GPU: OOM.")print(e)if __name__ == "__main__":# 從命令行獲取參數，如果未提供則使用默認值 1024MBmemory_size_mb = int(sys.argv[1]) if len(sys.argv) > 1 else 1024allocate_memory(memory_size_mb)
開始
root@hami-30:/mnt/b66582121706406e9797ffaf64a831b0/lixd/hami-test# python test_oom.py 20000
[HAMI-core Msg(1046:140457967137280:libvgpu.c:836)]: Initializing.....
Attempting to allocate 20000 MB on GPU...
[HAMI-core Warn(1046:140457967137280:utils.c:183)]: get default cuda from (null)
[HAMI-core Msg(1046:140457967137280:libvgpu.c:855)]: Initialized
[HAMI-core ERROR (pid:1046 thread=140457967137280 allocator.c:49)]: Device 0 OOM 21244149760 / 20971520000
Failed to allocate 20000 MB on GPU: OOM.
CUDA error: unrecognized error code
CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1
Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.[HAMI-core Msg(1046:140457967137280:multiprocess_memory_limit.c:468)]: Calling exit handler 1046
直接 OOM 了，看來是有點極限了，試試 19500
root@hami-30:/mnt/b66582121706406e9797ffaf64a831b0/lixd/hami-test# python test_oom.py 19500
[HAMI-core Msg(1259:140397947200000:libvgpu.c:836)]: Initializing.....
Attempting to allocate 19500 MB on GPU...
[HAMI-core Warn(1259:140397947200000:utils.c:183)]: get default cuda from (null)
[HAMI-core Msg(1259:140397947200000:libvgpu.c:855)]: Initialized
Successfully allocated 19500 MB on GPU.
[HAMI-core Msg(1259:140397947200000:multiprocess_memory_limit.c:468)]: Calling exit handler 1259
一切正常，說明 HAMi 的 memory 隔離是正常的。
**【Kubernetes 系列】**持續更新中，搜索公眾號【探索云原生】訂閱，文章。
4.小結
測試結果如下：
-
Core 隔離
-
gpucores 設置為 30% 時任務每一步耗時 0.6s，Grafana 顯示 GPU 算力使用率在 30% 附近波動
-
gpucores 設置為 60% 時任務每一步耗時 0.3s，Grafana 顯示 GPU 算力使用率在 60% 附近波動
-
-
Memory 隔離
- gpumem 設置為 20000M，嘗試申請 20000M 時 OOM，申請 19500 時正常。
可以認為 HAMi vGPU 方案提供的 core&memory 隔離基本符合預期：
- Core 隔離：Pod 能使用的算力會圍繞設定值波動，但是一段時間內平均下來和申請的 gpucores 基本一致
- Memory 隔離：Pod 中申請的 GPU 內存超過設定值時會直接提示 CUDA OOM
和陌生的樣式)
![AtCoder AT_abc413_c [ABC413C] Large Queue 題解](http://pic.xiahunao.cn/AtCoder AT_abc413_c [ABC413C] Large Queue 題解)
