04 穿越功耗墻,我們該從哪些方面提升“性能”?
上一講,在講 CPU 的性能時,我們提到了這樣一個公式:
程序的 CPU 執行時間 = 指令數×CPI×Clock Cycle Time
這么來看,如果要提升計算機的性能,我們可以從指令數、CPI 以及 CPU 主頻這三個地方入手。要搞定指令數或者 CPI,乍一看都不太容易。于是,研發 CPU 的硬件工程師們,從 80 年代開始,就挑上了 CPU 這個“軟柿子”。在 CPU 上多放一點晶體管,不斷提升 CPU 的時鐘頻率,這樣就能讓 CPU 變得更快,程序的執行時間就會縮短。
于是,從 1978 年 Intel 發布的 8086 CPU 開始,計算機的主頻從 5MHz 開始,不斷提升。1980 年代中期的 80386 能夠跑到 40MHz,1989 年的 486 能夠跑到 100MHz,直到 2000 年的奔騰 4 處理器,主頻已經到達了 1.4GHz。而消費者也在這 20 年里養成了“看主頻”買電腦的習慣。當時已經基本壟斷了桌面 CPU 市場的 Intel 更是夸下了海口,表示奔騰 4 所使用的 CPU 結構可以做到 10GHz,頗有一點“大力出奇跡”的意思。
功耗:CPU 的“人體極限”
然而,計算機科學界從來不相信“大力出奇跡”。奔騰 4 的 CPU 主頻從來沒有達到過 10GHz,最終它的主頻上限定格在 3.8GHz。這還不是最糟的,更糟糕的事情是,大家發現,奔騰 4 的主頻雖然高,但是它的實際性能卻配不上同樣的主頻。想要用在筆記本上的奔騰 4 2.4GHz 處理器,其性能只和基于奔騰 3 架構的奔騰 M 1.6GHz 處理器差不多。
于是,這一次的“大力出悲劇”,不僅讓 Intel 的對手 AMD 獲得了喘息之機,更是代表著“主頻時代”的終結。后面幾代 Intel CPU 主頻不但沒有上升,反而下降了。到如今,2019 年的最高配置 Intel i9 CPU,主頻也只不過是 5GHz 而已。相較于 1978 年到 2000 年,這 20 年里 300 倍的主頻提升,從 2000 年到現在的這 19 年,CPU 的主頻大概提高了 3 倍。

CPU 的主頻變化,在奔騰 4 時代進入了瓶頸期,圖片來源
奔騰 4 的主頻為什么沒能超過 3.8GHz 的障礙呢?答案就是功耗問題。什么是功耗問題呢?我們先看一個直觀的例子。
一個 3.8GHz 的奔騰 4 處理器,滿載功率是 130 瓦。這個 130 瓦是什么概念呢?機場允許帶上飛機的充電寶的容量上限是 100 瓦時。如果我們把這個 CPU 安在手機里面,不考慮屏幕內存之類的耗電,這個 CPU 滿載運行 45 分鐘,充電寶里面就沒電了。而 iPhone X 使用 ARM 架構的 CPU,功率則只有 4.5 瓦左右。
我們的 CPU,一般都被叫作超大規模集成電路(Very-Large-Scale Integration,VLSI)。這些電路,實際上都是一個個晶體管組合而成的。CPU 在計算,其實就是讓晶體管里面的“開關”不斷地去“打開”和“關閉”,來組合完成各種運算和功能。
想要計算得快,一方面,我們要在 CPU 里,同樣的面積里面,多放一些晶體管,也就是增加密度;另一方面,我們要讓晶體管“打開”和“關閉”得更快一點,也就是提升主頻。而這兩者,都會增加功耗,帶來耗電和散熱的問題。
這么說可能還是有點抽象,我還是給你舉一個例子。你可以把一個計算機 CPU 想象成一個巨大的工廠,里面有很多工人,相當于 CPU 上面的晶體管,互相之間協同工作。
為了工作得快一點,我們要在工廠里多塞一點人。你可能會問,為什么不把工廠造得大一點呢?這是因為,人和人之間如果離得遠了,互相之間走過去需要花的時間就會變長,這也會導致性能下降。這就好像如果 CPU 的面積大,晶體管之間的距離變大,電信號傳輸的時間就會變長,運算速度自然就慢了。
除了多塞一點人,我們還希望每個人的動作都快一點,這樣同樣的時間里就可以多干一點活兒了。這就相當于提升 CPU 主頻,但是動作快,每個人就要出汗散熱。要是太熱了,對工廠里面的人來說會中暑生病,對 CPU 來說就會崩潰出錯。
我們會在 CPU 上面抹硅脂、裝風扇,乃至用上水冷或者其他更好的散熱設備,就好像在工廠里面裝風扇、空調,發冷飲一樣。但是同樣的空間下,裝上風扇空調能夠帶來的散熱效果也是有極限的。
因此,在 CPU 里面,能夠放下的晶體管數量和晶體管的“開關”頻率也都是有限的。一個 CPU 的功率,可以用這樣一個公式來表示:
功耗 ~= 1?2 ×負載電容×電壓的平方×開關頻率×晶體管數量
那么,為了要提升性能,我們需要不斷地增加晶體管數量。同樣的面積下,我們想要多放一點晶體管,就要把晶體管造得小一點。這個就是平時我們所說的提升“制程”。從 28nm 到 7nm,相當于晶體管本身變成了原來的 1?4 大小。這個就相當于我們在工廠里,同樣的活兒,我們要找瘦小一點的工人,這樣一個工廠里面就可以多一些人。我們還要提升主頻,讓開關的頻率變快,也就是要找手腳更快的工人。

但是,功耗增加太多,就會導致 CPU 散熱跟不上,這時,我們就需要降低電壓。這里有一點非常關鍵,在整個功耗的公式里面,功耗和電壓的平方是成正比的。這意味著電壓下降到原來的 1/5,整個的功耗會變成原來的 1/25。
事實上,從 5MHz 主頻的 8086 到 5GHz 主頻的 Intel i9,CPU 的電壓已經從 5V 左右下降到了 1V 左右。這也是為什么我們 CPU 的主頻提升了 1000 倍,但是功耗只增長了 40 倍。比如說,我寫這篇文章用的是 Surface Go,在這樣的輕薄筆記本上,微軟就是選擇了把電壓下降到 0.25V 的低電壓 CPU,使得筆記本能有更長的續航時間。
并行優化,理解阿姆達爾定律
雖然制程的優化和電壓的下降,在過去的 20 年里,讓我們的 CPU 性能有所提升。但是從上世紀九十年代到本世紀初,軟件工程師們所用的“面向摩爾定律編程”的套路越來越用不下去了。“寫程序不考慮性能,等明年 CPU 性能提升一倍,到時候性能自然就不成問題了”,這種想法已經不可行了。
于是,從奔騰 4 開始,Intel 意識到通過提升主頻比較“難”去實現性能提升,邊開始推出 Core Duo 這樣的多核 CPU,通過提升“吞吐率”而不是“響應時間”,來達到目的。
提升響應時間,就好比提升你用的交通工具的速度,比如原本你是開汽車,現在變成了火車乃至飛機。本來開車從上海到北京要 20 個小時,換成飛機就只要 2 個小時了,但是,在此之上,再想要提升速度就不太容易了。我們的 CPU 在奔騰 4 的年代,就好比已經到了飛機這個速度極限。
那你可能要問了,接下來該怎么辦呢?相比于給飛機提速,工程師們又想到了新的辦法,可以一次同時開 2 架、4 架乃至 8 架飛機,這就好像我們現在用的 2 核、4 核,乃至 8 核的 CPU。
雖然從上海到北京的時間沒有變,但是一次飛 8 架飛機能夠運的東西自然就變多了,也就是所謂的“吞吐率”變大了。所以,不管你有沒有需要,現在 CPU 的性能就是提升了 2 倍乃至 8 倍、16 倍。這也是一個最常見的提升性能的方式,通過并行提高性能。
這個思想在很多地方都可以使用。舉個例子,我們做機器學習程序的時候,需要計算向量的點積,比如向量 W=[W0,W1,W2,…,W15]W=[W0,W1,W2,…,W15] 和向量 X=[X0,X1,X2,…,X15]X=[X0,X1,X2,…,X15],W?X=W0?X0+W1?X1+W·X=W0?X0+W1?X1+ W2?X2+…+W15?X15W2?X2+…+W15?X15。這些式子由 16 個乘法和 1 個連加組成。如果你自己一個人用筆來算的話,需要一步一步算 16 次乘法和 15 次加法。如果這個時候我們把這個人物分配給 4 個人,同時去算 W0~W3W0~W3, W4~W7W4~W7, W8~W11W8~W11, W12~W15W12~W15 這樣四個部分的結果,再由一個人進行匯總,需要的時間就會縮短。

但是,并不是所有問題,都可以通過并行提高性能來解決。如果想要使用這種思想,需要滿足這樣幾個條件。
第一,需要進行的計算,本身可以分解成幾個可以并行的任務。好比上面的乘法和加法計算,幾個人可以同時進行,不會影響最后的結果。
第二,需要能夠分解好問題,并確保幾個人的結果能夠匯總到一起。
第三,在“匯總”這個階段,是沒有辦法并行進行的,還是得順序執行,一步一步來。
這就引出了我們在進行性能優化中,常常用到的一個經驗定律,阿姆達爾定律(Amdahl’s Law)。這個定律說的就是,對于一個程序進行優化之后,處理器并行運算之后效率提升的情況。具體可以用這樣一個公式來表示:
優化后的執行時間 = 受優化影響的執行時間 / 加速倍數 + 不受影響的執行時間
在剛剛的向量點積例子里,4 個人同時計算向量的一小段點積,就是通過并行提高了這部分的計算性能。但是,這 4 個人的計算結果,最終還是要在一個人那里進行匯總相加。這部分匯總相加的時間,是不能通過并行來優化的,也就是上面的公式里面不受影響的執行時間這一部分。
比如上面的各個向量的一小段的點積,需要 100ns,加法需要 20ns,總共需要 120ns。這里通過并行 4 個 CPU 有了 4 倍的加速度。那么最終優化后,就有了 100?4+20=45ns。即使我們增加更多的并行度來提供加速倍數,比如有 100 個 CPU,整個時間也需要 100?100+20=21ns。

總結延伸
我們可以看到,無論是簡單地通過提升主頻,還是增加更多的 CPU 核心數量,通過并行來提升性能,都會遇到相應的瓶頸。僅僅簡單地通過“堆硬件”的方式,在今天已經不能很好地滿足我們對于程序性能的期望了。于是,工程師們需要從其他方面開始下功夫了。
在“摩爾定律”和“并行計算”之外,在整個計算機組成層面,還有這樣幾個原則性的性能提升方法。
1.加速大概率事件。最典型的就是,過去幾年流行的深度學習,整個計算過程中,99% 都是向量和矩陣計算,于是,工程師們通過用 GPU 替代 CPU,大幅度提升了深度學習的模型訓練過程。本來一個 CPU 需要跑幾小時甚至幾天的程序,GPU 只需要幾分鐘就好了。Google 更是不滿足于 GPU 的性能,進一步地推出了 TPU。后面的文章,我也會為你講解 GPU 和 TPU 的基本構造和原理。
2.通過流水線提高性能。現代的工廠里的生產線叫“流水線”。我們可以把裝配 iPhone 這樣的任務拆分成一個個細分的任務,讓每個人都只需要處理一道工序,最大化整個工廠的生產效率。類似的,我們的 CPU 其實就是一個“運算工廠”。我們把 CPU 指令執行的過程進行拆分,細化運行,也是現代 CPU 在主頻沒有辦法提升那么多的情況下,性能仍然可以得到提升的重要原因之一。我們在后面也會講到,現代 CPU 里是如何通過流水線來提升性能的,以及反面的,過長的流水線會帶來什么新的功耗和效率上的負面影響。
3.通過預測提高性能。通過預先猜測下一步該干什么,而不是等上一步運行的結果,提前進行運算,也是讓程序跑得更快一點的辦法。典型的例子就是在一個循環訪問數組的時候,憑經驗,你也會猜到下一步我們會訪問數組的下一項。后面要講的“分支和冒險”、“局部性原理”這些 CPU 和存儲系統設計方法,其實都是在利用我們對于未來的“預測”,提前進行相應的操作,來提升我們的程序性能。
好了,到這里,我們講完了計算機組成原理這門課的“前情提要”。一方面,整個組成乃至體系結構,都是基于馮·諾依曼架構組成的軟硬件一體的解決方案。另一方面,你需要明白的就是,這里面的方方面面的設計和考慮,除了體系結構層面的抽象和通用性之外,核心需要考慮的是“性能”問題。
接下來,我們就要開始深入組成原理,從一個程序的運行講起,開始我們的“機器指令”之旅。
本文由 mdnice 多平臺發布