在 Kubernetes 集群中，內存碎片化（Memory Fragmentation）會導致系統無法分配連續的內存塊，即使總內存充足，也可能觸發 OOM（Out of Memory）或影響性能。以下是針對 k8s Node 內存碎片化的優化策略：

一、內存碎片化的原因

1. 頻繁分配和釋放不同大小的內存：容器頻繁創建和銷毀，導致內存塊分散。
2. 大內存請求與小內存碎片不匹配：連續內存塊不足，無法滿足大內存分配。
3. 內存分配器限制：Linux 默認的內存分配器（如 slab、slub）在某些場景下效率較低。
4. 長時間運行的節點：隨著時間推移，內存碎片化問題會逐漸積累。

二、診斷內存碎片化

參考：如何使用vmstat 和 free 查看內存碎片化信息？-CSDN博客

1. 使用?vmstat?和?free?查看總體內存

vmstat 1 5  # 每1秒采樣，共5次
free -h     # 查看內存使用情況

2. 檢查?/proc/buddyinfo?查看內存碎片程度

cat /proc/buddyinfo
# 輸出示例（關注高階內存塊數量）：
# Node 0, zone      DMA      0      0      0      0      0      0      0      0      1      1      3
# Node 0, zone    DMA32   123    89    72    56    38    25    16    10     5     2     1
# Node 0, zone   Normal  156   120   100    80    60    40    25    15     8     3     1

輸出詳解?

1）基本格式

Node <節點ID>, zone <內存區域> <各階內存塊數量>

• Node：表示 NUMA 節點（單節點系統通常為 0）
• zone：內存區域類型（如 DMA、Normal、HighMem）
• 各階內存塊數量：從階 0 到階 N 的連續頁框數量?

2）內存階（Order）的概念

• 階 0：1 個頁框（通常 4KB）
• 階 1：2 個連續頁框（8KB）
• 階 2：4 個連續頁框（16KB）
• 階 N：2^N 個連續頁框

例如：階 10 = 1024 個頁框 = 4MB（假設頁大小為 4KB）

3）輸出解析

• Node 0：NUMA 節點 0
• zone DMA：用于 DMA 的內存區域（地址低于 16MB）
• 各階數量：
  • 階 0：0 個 4KB 頁框
  • 階 1：0 個 8KB 頁框
  • ...
  • 階 9：1 個 2MB 頁框
  • 階 10：1 個 4MB 頁框
  • 階 11：3 個 8MB 頁框

4）關鍵指標

• 高階值低（如階 8 及以上）：表明大內存塊稀缺，可能存在碎片化
• 低階值高（如階 0-3）：表明小內存塊充足

5）內存碎片化判斷

正常情況：

• 各階內存塊分布相對均勻
• 高階內存塊（如階 8+）有一定數量

碎片化特征：

• 高階內存塊數量極低（如全為 0）
• 低階內存塊數量高，但無法合并成大內存塊

6）相關命令

查看內存區域詳情

cat /proc/zoneinfo | grep -E 'Node|free_pages'

計算總可用內存

# 總可用頁框數
grep 'free_pages' /proc/zoneinfo | awk '{sum+=$2} END {print sum}'# 轉換為 MB（假設頁大小為 4KB）
echo "$(cat /proc/zoneinfo | grep 'free_pages' | awk '{sum+=$2} END {print sum}') * 4 / 1024" | bc

3. 使用?smem?分析內存使用模式

# 安裝 smem
yum install smem  # CentOS/RHEL
apt install smem  # Ubuntu/Debian# 按進程查看內存使用
smem -s rss -k | head -n 20  # 按 RSS 排序，顯示前20

三、優化策略

1. 調整內核參數

# 啟用內存碎片整理（臨時）
echo 1 > /proc/sys/vm/compact_memory# 調整 swappiness（減少內存壓力）
echo 10 > /proc/sys/vm/swappiness  # 永久修改需編輯 /etc/sysctl.conf# 啟用透明大頁（THP）
echo always > /sys/kernel/mm/transparent_hugepage/enabled

2. 優化容器資源配置

# 為容器設置合理的 requests 和 limits
resources:requests:memory: "256Mi"limits:memory: "512Mi"  # 避免過大的內存限制導致碎片

3. 使用內存密集型 Pod 的親和性

# 將內存密集型 Pod 調度到專用節點
affinity:nodeAffinity:requiredDuringSchedulingIgnoredDuringExecution:nodeSelectorTerms:- matchExpressions:- key: memory-intensiveoperator: Invalues:- "true"

4. 定期重啟節點

# 使用 CronJob 定期重啟節點
apiVersion: batch/v1beta1
kind: CronJob
metadata:name: node-reboot
spec:schedule: "0 2 * * 0"  # 每周日凌晨2點jobTemplate:spec:template:spec:hostPID: truecontainers:- name: rebootimage: alpinecommand: ["/sbin/reboot"]securityContext:privileged: truerestartPolicy: Never

5. 調整內存分配器

# 切換到更高效的內存分配器（如 jemalloc）
echo "export MALLOC_CONF=background_thread:true,metadata_thp:auto" >> /etc/profile
source /etc/profile

6. 避免內存碎片的應用優化

# Python 示例：預分配內存池
import gc
import psutil# 禁用垃圾回收器，減少內存碎片
gc.disable()# 預分配內存
def allocate_memory(size):process = psutil.Process()memory_before = process.memory_info().rssdata = bytearray(size)memory_after = process.memory_info().rssprint(f"Allocated {memory_after - memory_before} bytes")return data

7 減少大內存分配

避免申請超過 1GB 的連續內存?

四、監控與告警

1. Prometheus + Grafana 監控

# 關鍵指標
- name: memory-fragmentation.rulesrules:- alert: HighMemoryFragmentationexpr: (node_memory_MemFree_bytes + node_memory_Cached_bytes + node_memory_Buffers_bytes) / node_memory_MemTotal_bytes < 0.1for: 10mlabels:severity: warningannotations:summary: "High memory fragmentation on {{ $labels.instance }}"

2. 自定義腳本監控

#!/bin/bash# 監控內存碎片率
THRESHOLD=0.3fragmentation=$(cat /proc/buddyinfo | awk '/Normal/ {sum = 0;for (i = 1; i <= NF; i++) {if (i > 4) {sum += $(i) * (2 ^ (i - 5));}}print sum;}
')total=$(cat /proc/meminfo | grep MemTotal | awk '{print $2}')
fragmentation_ratio=$(echo "scale=2; $fragmentation / $total" | bc)if (( $(echo "$fragmentation_ratio > $THRESHOLD" | bc -l) )); thenecho "Warning: High memory fragmentation ($fragmentation_ratio)"# 觸發告警或自動修復
fi

五、驗證優化效果

# 對比優化前后的內存碎片情況
cat /proc/buddyinfo > before.txt
# 執行優化措施后
cat /proc/buddyinfo > after.txt
diff before.txt after.txt

六、注意事項

1. 測試先行：在生產環境應用任何變更前，先在測試環境驗證。
2. 漸進式調整：逐步調整參數，避免對系統造成沖擊。
3. 日志分析：定期分析系統日志，識別內存碎片化的根本原因。

通過以上措施，可有效緩解 k8s Node 的內存碎片化問題，提升系統穩定性和資源利用率。