---

前言

一般來說，數據中心 3 年的電費可以再造一個數據中心，因此節電是數據中心的一個永恒的話題。傳統的節電技術基本已經觸及到了天花板，AI 節電是現在以及將來的技術趨勢。AI 調控的是數據中心制冷系統，不僅要控的好能節能，還要控的安全。本文我們將分享華為 NAIE 數據中心 AI 節能技術，以及如何支持技術在不同局點的復制。

---

一、數據中心節能能省一大筆錢

數據中心電費到底有多重要，節能真的能省很多錢？

1.1、全聯接世界推動數據中心市場持續高速發展

1.1.1、用戶聯接激增

當前我們處于一個全聯接的世界，那到底共有多少聯接？我們來看一組統計數據，具體如下圖所示：

通過上圖我們可以得知：

• 在 2015 年全球智能終端數量為 70 億，預計到 2025 年會以 5.6 倍的速度增長至 400 億。
• 在 2015 年全球聯接數為 200 億，預計到 2025 年會以 5 倍的速度增長至 1000 億。
• 在 2015 年全球年數據流量為 9 ZB，預計到 2025 年會以 20 倍的速度增長至 180 ZB。

海量數據的增長在于消耗大量的服務，隨之就需要大量的數據中心承載這些服務。

1.1.2、全球數據中心基礎設施高速發展

另外一組來自于 MarketsAndMarkets 的關于全球數據中心基礎設施的數據更可以明確數據中心基礎設施的高速發展，具體如下圖所示：

通過上圖我們可以得知：

• 在 2017 年全球數據中心總價值約為 130.7 億美元并呈現出逐年增長的趨勢，預計到 2022 年總價值將達到 490 億美元。

1.2、數據中心的增長帶來超額的用電量

海量數據中心的運行與維護就離不開超額的用電量。

我們通過具體的案例，某大型數據中心 10 年的運營成本構成來進一步分析，具體如下圖所示：

通過上圖我們可以得知：

• 該數據中心其中 70% 的運營成本都投入到了電費中。
• 對于數據中的電費 70% 用于服務器供電，屬于必需消耗，僅 30% 用于制冷、照明、辦公等。

那么我們對于數據中心的耗電量進行量化呢？根據統計：

• 全球數據中心用電量占全球用電量的 3%，年增長率超過 6%，相當于 30 個核電站（2017）。
• 僅中國的數據中心用電量每年 1200 億千瓦時，超過三峽電站全年發電量（2017 1000億千瓦時）。
• 數據中心 3 年的電費可以再造一個數據中心。

1.3、數據中心節能是必然趨勢

對于企業而言，節約電費成本就相當于增加企業利潤。

除去內部運營的挑戰，即數據中心超額的電費消耗外，各國政府的相關政策/法規也對能效指標提出了嚴格要求，數據中心節能成為必然趨勢。有表如下：

機構	政策	相關要求
工業和信息化部 國家機關事務管理局 國家能源局	《關于加強綠色數據中心建設的指導意見》	到 2022 年，新建大型、超大型數據中心 PUE<1.4
北京市政府	《北京市新增產業的禁止和限制目錄》	中心城區禁止新建和擴建數據中心
上海市政府	《上海市節能和應對氣候變化“十三五”規劃》	新建數據中心 PUE<1.3，存量數據中心 PUE<1.4
深圳市發改委	《深圳市發展和改革委員會關于數據中心節能審查有關事項的通知》	PUE<1.4 階梯型能源支持，鼓勵新建 DC PUE<1.25
歐盟委員會聯合研究中心	數據中心行為準則（the EU Code of Conduct for Data Centers）	鼓勵數據中心運營商降低能耗，并每年頒發相關獎項（PUE Best Practice）
美國聯邦政府	數據中心優化倡議（DCOI）	建議數據中心對 PUE 目標、虛擬化、服務器利用率等指標進行監測
通過上表我們可以得知：

• 工信部在《關于加強綠色數據中心建設的指導意見》中要求新建數據中心 PUE<1.4，北京、上海、深圳也提出了相關法規，特別是深圳市鼓勵新建 DC PUE<1.25，這是一個很有挑戰的數字。

1.4、什么是 PUE？

在上面的相關政策及法規中均提到了一個 PUE 值，那什么是 PUE？

電能使用效率 (Power Usage Effectiveness)：數據中心行業通過測量 PUE（即電能使用效率）來測量能效。

一個數據中心的耗電單元及組成具體如下圖所示：

Google 的 PUE 測量標準為：

說明：能耗測量點越多，并且越逼近 IT 設備終端，則 PUE 最終計算值可信度越高。

如果 PUE 值為 2.0，則表示 IT 設備每消耗 1 瓦特電量，我們就要多消耗 1 瓦特電量對其進行冷卻和配電。PUE 值接近 1.0 表示差不多所有的能耗都用于計算。

1.5、數據中心制冷原理

在上面我們提到在數據中心中用于制冷的電量占到非 IT 能耗 2/3 的比重，所以從降低制冷能耗的角度節省數據中心開支是很棒的入手點。

數據中心制冷采用的水冷式冷水機組系統結構具體如下圖所示：

水冷冷水型冷凍站制冷原理：

• 冷水機組：壓縮冷媒，通過冷媒相變把熱量由蒸發器置換到冷凝器。
• 冷卻泵：驅動冷卻水流經冷卻塔和冷機，完成冷卻水循環流動。
• 冷卻塔：風機驅動氣流，冷卻水熱量散發到外界空氣中，給冷卻水降溫。
• 冷凍泵：驅動冷凍水流經LCU末端和冷機，完成冷凍水循環流動。
• 末端空調：風機驅動氣流，冷凍水吸收空氣熱量，環境溫度降低。

1.6、傳統節能技術以及存在的瓶頸

對于如此復雜耗電的系統，在傳統中我們是如何進行節能的呢？

1.6.1、傳統單系統調節

單系統調節結構具體如下圖所示：

其核心在于：

• 調優單設備。
• 調節單系統效率（如壓縮機與水泵配比）。

1.6.2、傳統整系統優化

整系統優化結構具體如下圖所示：

其核心在于：

• 基于經驗，由經驗豐富的“老專家”設置最佳系統工況（如冷卻塔、冷水機組、末端聯動）。

1.6.3、傳統節能技術存在的瓶頸

• 產品級節能技術應用已接近天花板。
• 系統復雜、設備多，各設備間能耗影響關系錯綜復雜，難以用傳統工程學公式模擬，傳統控制方式各自為政，專家經驗作用已達到極限。
• 每個數據中心都是獨特的環境和架構，雖然許多工程實踐和經驗法則可以全面應用，但一個系統運行的定制模型并不能保證另一個系統的成功。

二、NAIE 數據中心節能技術秘籍

2.1、AI 技術成為數據中心節能新方向

根據相關調研數據，70% 的用戶認為 AI 技術應該應用于數據中心的領域，具體如下圖所示：

Gartner：截止 2020 年，30% 的未做好人工智能準備的數據中心，其業務運營將不具有經濟性。

并且還枚舉了人工智能改善數據中心日常運營的三種方式：

• 利用預測分析優化工作負載分配，實時優化存儲和計算負載平衡。
• 機器學習算法以最佳方式處理事務，用人工智能來優化數據中心能耗。
• 人工智能可緩解人員短缺，自動執行系統更新、安全補丁。

在業界也有眾多的利用 AI 技術對數據中心進行節能的經驗，諸如 JimGao 與 DeepMind 團隊的合作，使用神經網絡分別預測 PUE、DC 溫度、負載壓力，控制約 120 個數據中心的變量，實現 PUE 降低，具體如下圖所示：

百度使用深度學習神經網絡預測模型，在 K2 智能樓宇項目測試。百度陽泉云數據中心，根據室外天氣濕度、溫度和負荷，AI 自動判斷切換冷水機組運行模式，具體如下圖所示：

2.2、華為 NAIE 數據中心節能秘籍

華為 NAIE 數據中心節能包含了眾多方面，本次我們僅介紹關于制冷系統節能的方面。通過對制冷系統有目的的調節以實現讓系統達到更優的狀態。

通過對于原始數據特征工程、能耗預測和安全保障模型、控制參數尋優以實現最終“王炸”！具體實現如下圖所示：

對于其中“王炸”的內容我們先賣一個關子。

2.3、制冷能耗預測建模：密集火力

上面我們也提到，截止 2020 年，30% 的未做好人工智能準備的數據中心，其業務運營將不具有經濟性。很多數據中心也開始逐步為 AI 數據中心上線進行準備工作，存儲相關的歷史數據及樣本，若樣本數量過多就可以采用深度學習網絡，火力全開對能耗進行建模，訓練多個網絡，具體如下圖所示：

在訓練過程中進行多次評估，精度不達標去掉即可或者采用深度殘差網絡（ResNet），相比于傳統網絡能更好的解決梯度消失的問題，在實際中前一種方法已經可以解決 80% 的問題，剩下的 20% 可以基于 ResNet 進行建模。

2.4、制冷能耗預測：精確制導

如果我們的樣本較少的場景下，采用密集火力的方式是不行的，深度學習網絡也是沒辦法進行更好訓練的，那我們就要在原有的系統上采用精確制導的方法，采用如 K 近鄰、高斯過程回歸算法等進行解決，具體如下圖所示：

2.5、預測設備工況，保障設備安全

制冷系統是安全保障系統，安全是第一位的。可能有同學會有疑問：

問：把設備都關了，不是最省電的嘛？
答：制冷設備的冷量要大于IT發熱量，4.2 × 𝑀 × ?𝑇 > 安全系數 × 3.6 × 𝐼𝑇𝑒𝑛𝑒𝑟𝑔𝑦，所以肯定不能全關。（M 與 ?𝑇 為通過安全保證模型推測出的制冷機的溫差、流量等參數，絕對不為 0）

問：少用設備肯定比多用設備省電！
答：如果只用一個水泵，工作頻率可能會超過56Hz，省不省電我不知道，但泵可能會損毀，“皮之不存毛將焉附”。

除去預測能耗之外，還要預測諸如水泵的工作頻率，如果超過實定的運維經驗，就會認為控制參數不合理，具體如下圖所示：

2.6、控制參數如何決策？

在能耗預測模型和安全保障模型都建立之后，就需要對當前的控制參數進行決策。

我們把控制參數當做自變量，能耗當作值，就可以生成一個在 N 維空間中的能耗模型超曲面，平面上的每一個點代表一個控制參量能耗，由于控制參量不是絕對安全，所以可以看到有一些空洞存在，具體如下圖所示：

那我們如何在上圖中找到一個相對優化的控制參數使得能耗低又能保證控制參數安全呢？

2.7、秘籍：貝葉斯優化

這就需要我們參考 NAIE 訓練平臺的 SDK，啟發式、貝葉斯優化。

貝葉斯優化過程示意具體如下圖所示：

說明：上圖中的黑線表示真實的函數，黑色的兩點表示已經采樣得到的觀測點，建立高斯回歸模型，黑色的虛線就是預測值，紫色的區域表示沒一個點上的不確定度，綠色代表采樣函數。通過不同的采樣點反復迭代以找到最優樣本為止。

貝葉斯優化的開源實現有以下幾種供大家了解：

• SMAC 采用隨機森林作為性能預測模型的貝葉斯優化方法，https://github.com/automl/SMAC3
• Hyperopt 采用 TPE 作為性能預測模型的貝葉斯優化方法，https://jaberg.github.io/hyperopt/
• Spearmint 采用 GP 遺傳算法作為性能預測模型的貝葉斯優化方法，https://github.com/HIPS/Spearmint

2.8、在適當的時機，更新模型

問：隨著時間的推移，會采集越來越多的樣本，模型不會“過時”嘛？
答：答案是會的。當我們采集到更多樣本的時候，不僅要更新模型，更要更新一打模型，具體如下圖所示：

那隨之而來就會有更多問題：

• 模型要不要更新，何時觸發模型更新，怎么更新？
• 前面好像說過，模型會有一打，同時更新？

2.9、殺手锏：NAIE 云地協同

NAIE 云地協同就是我們上面提到的“王炸！”

NAIE云地協同：打通云端與地端，實現數據采集上云、模型日常評估、重訓練、模型更新全流程自動化。具體架構如下圖所示：

2.10、華為XX云數據中心：年均 PUE 降低 8-12%

在我們采用上述的方案之后，華為XX云數據中心：年均 PUE 降低 8-12%，具體如下圖所示：

三、NAIE 模型生成服務帶大家飛

3.1、從何入手種類繁多的制冷技術？

制冷技術種類繁多，管路布局千差萬別，從何入手？不同的數據中心，在制冷模式（水冷、風冷、AHU 等）、管路類型（母管、單管、混合管）等方面很可能存在差異，具體分類如下圖所示：

但是不用擔心，NAIE 模型生成服務已經為你做好了布局。

3.2、建模隨機附贈老專家？

我們都知道到建模屬于專業技術活，隨機附贈老專家？

面向開發人員搭建一個數據中心，從節能建模到模型應用，需要開發團隊投入 4 人，歷時 6 個月，所以即使附贈一個老專家也起不到作用，搭建一個數據中心其流程具體如下圖所示：

3.3、數據中心 PUE 優化模型生成服務帶你飛

數據中心 PUE 優化模型生成服務對此類問題提供了詳盡的解決方案，歡迎感興趣的小伙伴點擊查看數據中心 PUE 優化模型生成服務，地址：https://www.hwtelcloud.com/products/dpo，具體如下圖所示：

---

總結

在本文中我們介紹了數據中心電費到底有多重要，節能真的能省很多錢？數據中心制冷系統的原理；使用 AI 省電到底是什么鬼，華為 NAIE 是怎么實現 AI 省電的？華為 NAIE 的模型生成服務是如何幫助大家輕松玩轉數據中心 AI 省電的？華為云倡導：把數字世界帶入每個人、每個家庭、每個組織，構建萬物互聯的智能世界。Bring digital to every person, home and organization for a fully connected, intelligent world.

---

我是白鹿，一個不懈奮斗的程序猿。望本文能對你有所裨益，歡迎大家的一鍵三連！若有其他問題、建議或者補充可以留言在文章下方，感謝大家的支持！