計算光學成像所涉及研究的內容非常廣泛，雖然計算光學成像的研究內容是發散的，但目的都是一致的：如何讓相機記錄到客觀實物更豐富的信息，延伸并擴展人眼的視覺感知。總的來說，計算光學成像現階段已經取得了很多令人振奮的研究成果，這些成果必將會對光學成像技術未來的發展方向產生深遠影響。我們可以將注意力進一步前移，通過探討計算光學成像的優勢、面臨的挑戰來大膽展望它的未來發展趨勢。

自2010年代初以來，業界和學術界對光學計算的興趣再次高漲。光學計算機至少在某些任務上優于電子計算機的基本物理基礎是什么？

事實上，任何光學計算機要想在實踐中取得優勢，都可能需要利用其中一個以上的特性；成功的光學計算機設計必須經過精心設計，以避免出現瓶頸或開銷超過光學優勢。本文將討論其中的一些誤區以及可以采取的緩解方法。

電子處理器設定的高標準導致人們對光學計算的前景一度持悲觀態度。鑒于CMOS技術的不斷改進，那么，為什么現在人們對光學計算（包括商業發展）又重新燃起了熱情？對光學計算的主要批評之一是，光學晶體管無法與電子晶體管競爭。

目前，人們對光學計算的興趣主要集中在光學計算機架構上，而不是基于用光學晶體管復制數字邏輯。業界的主要目標不是試圖構建通用數字計算機，而是構建專用模擬計算機。這兩種轉變——向特殊用途和模擬處理的轉變，都很重要。試圖用光學技術構建性能卓越的通用處理器仍然遙不可及，這主要是因為人們希望通用處理器不會出錯（例如，會計師希望電子表格中的數字完全正確），而人們只知道如何用數字邏輯實現無差錯機器；要構建數字邏輯，就必須使用滿足高標準的光學晶體管。不過，我們也可以制造專門針對特定應用的光學處理器，這些應用并不需要完全無差錯運行。

目前，專用光學計算機正瞄準幾個應用領域：包括神經網絡、科學計算、組合優化和密碼學。所有這四個應用領域都以矩陣-矢量乘法過程為關鍵算法原型，而這正是當前光學計算研究的主要目標。傅立葉變換和卷積適用于神經網絡、科學計算和密碼學，因此在目前的研究中占有重要地位。

在過去幾十年中，光學相關器已多次作為商業產品發布，因此，即使在商業上，這也不是一個新方向，而是一個已煥發新活力的方向。此外，在為神經網絡進行計算方面也有很大的發展，這些計算并沒有明確設計為矩陣-向量乘法或卷積。所有這四個應用領域的一個共同點是，通過光學方法執行的子程序即使存在一些誤差（噪聲），仍然非常有用。這一因素至關重要，因為任何模擬計算機（包括模擬光學計算機）都很難達到大于10比特的有效精度，因此模擬光學計算機的應用應能承受這種程度的噪聲。

神經網絡是一個特別好的選擇，因為至少在推理過程中（而不是訓練過程中），神經網絡的精度不會大幅下降，即使它們只能進行精度低于8比特的整數運算。任何模擬神經網絡處理器（包括模擬光學處理器）都會擔心在執行深度神經網絡時可能會積累錯誤。最近，科學家們對這一問題進行了理論分析，得出的結論是，即使在相關噪聲的情況下，噪聲累積的有害影響也可以得到緩解。在對深度光學神經網絡（有60個光學執行層）的模擬中顯示，僅導致有效低位精度的非相關噪聲產生的精度與使用8比特整數運算執行相同神經網絡的數字電子處理器相同或更好，也就是說，模擬預測與標準數字電子執行相比，神經網絡光學執行中的誤差積累不會對精度產生明顯影響。對于模擬光學處理器、神經網絡的所有應用而言，有關抗噪聲能力的直覺和模擬最終都需要通過光學實驗來驗證。

有了這樣的背景，我們現在就可以更全面地回答為什么光學計算領域再次掀起熱潮。第一個原因是神經網絡的崛起：在過去十年中，神經網絡已成為機器學習的主流方法，并變得極其耗費計算資源。這引起了人們對專門用于神經網絡的替代硬件方法的濃厚興趣，而神經網絡對噪聲的內在適應能力使其非常適合模擬光學實現。

其次，CMOS的改進不足以滿足應用需求：盡管CMOS硬件已經取得了顯著進步，但對于神經網絡和其他一些應用（如組合優化）來說，CMOS硬件未來的預期改進也不如用戶所愿，并將限制應用能力。例如，神經網絡的參數數量——衡量其規模和計算需求的標準之一，的增長速度遠遠超過了硬件改進的速度，這主要是因為人們發現，規模的擴大往往會帶來能力或精度的提高。

第三，光子學硬件有了巨大進步：在消費電子和光通信行業的推動下，光子設備的規模、速度和能效在上一次光神經網絡熱潮之后的30年里取得了巨大進步。例如，三星公司現在推出了像素達2億的照相機，功率僅為10 W的每秒400千兆比特光收發器也已投入商用。在這一時期，光子集成電路也得到了發展和商業化，為體形光學器件提供了微型化的替代品；光學材料和器件也有了長足的發展。

電子領域（CMOS和超越CMOS技術）的一個補充趨勢是開發用于神經網絡處理的專用電子芯片，這為神經網絡光學計算機的發展提供了進一步支持。在許多情況下，這些芯片還能進行模擬而非數字矩陣-矢量乘法運算；這一事實促使人們開發出了在模擬硬件上訓練神經網絡的方法，其中許多方法也適用于模擬光學神經網絡。模擬和數字電子神經網絡芯片通常都采用數據流架構，尤其是收縮陣列架構。它們還經常采用內存計算的概念，這意味著存儲神經網絡權重矩陣元素的物理元素同時也是進行權重乘法運算的物理元素；通常情況下，存儲的值只能緩慢更新，但這對于神經網絡推理或其他需要多次重復使用權重的情況是可以接受的。

在這種架構中，光信號編碼的信息流經處理元件，如空間光調制器像素陣列、馬赫-澤恩德干涉儀網、相變存儲器單元橫桿或微波諧振器網絡。模擬電子神經網絡處理器與模擬光學神經網絡處理器的結構相似，這使得光計算機設計師可以借鑒電子處理器界的見解。結構上的相似性也使我們更容易預測未來電子和光子實現的性能比較。并不是每臺神經網絡光計算機都基于與電子神經網絡處理器相似的架構：偏離架構是有充分理由的，但在架構和算法具有可比性的情況下，性能分析就會變得更加簡單，因為我們不必區分不同算法和不同架構的影響，而可以專注于基本的物理差異：有多少并行元素，數據通過它們發送的速度有多快等等。同樣，許多用于組合優化的專用電子處理器與同一應用領域的光學方法在架構和算法上也有相似之處。

我們在下文中列出了光學本身或利用光學進行計算的方式的11個特征，這些特征是構建光學計算機的要素；這些特征可以解釋光學如何帶來更微妙但正確的優勢。

并非所有這些特征對獲得光學計算優勢都同等重要，但我們也沒有按重要性排序，部分原因是確定這種排序需要了解未來光學計算機最終最依賴哪些成分。不過，在下一節中，我們將討論如何使用這些特性，并就哪些特性最有可能成為關鍵發表看法。

1）帶寬

光子學的帶寬B比電子學大約100,000倍。光子學的帶寬約為500THz，而電子電路的帶寬通常約為5GHz（圖 1a）。小型模擬電子電路的帶寬可以大于5GHz，小型數字電子電路的時鐘頻率也可以大于5GHz，但用于計算系統的模擬和數字電子設備都會受到延遲的限制，速度往往不能超過?5GHz，而且自2000年代中期以來，還受到功率耗的限制。

光子技術的大帶寬帶來了兩個潛在優勢：

- 大規模頻率多路復用并行性

例如，在一個頻率梳中可以有>107條梳狀線，在一個長光纖環腔中可以有>109個頻率模式；每個梳狀線（頻率模式）所代表的數據都可以并行處理（圖1b）：不僅可以單獨處理（即按元素處理），還可以對不同頻率模式中的數據進行相加或相乘等操作。光頻模式的并行性通常在光通信中得到利用，波分復用技術可使單模光纖的通信速率大于每秒1013比特。

這種技術也可用于計算；例如，在相干線性光子處理器上實現了帶寬為B ~ 5THz的水庫計算。

- 光學系統的快速動力學

光學系統的動力學可以非常快，這可以轉化為非常高的運行速度，進而帶來更高的計算吞吐量和更低的延遲：如果使用光學的全部帶寬，操作延遲的極限τdelay?1/B，對于光學來說比電子學小約100,000倍。

不過，從帶寬角度看光學的潛在優勢有一些微妙之處。首先，τ延遲的帶寬限制只是一個限制，如果設備的傳播長度使得光穿過設備所需的時間長于1/B（也就是說，光速限制開始占據主導地位），延遲可能會更長。需要注意的是，當傳播延遲在總延遲中占主導地位時，仍有可能通過流水線技術(pipelining)從帶寬受限的快速吞吐量中獲益，例如，向系統發送多個光脈沖，其間距大于時間脈沖寬度~1/B，但小于傳播延遲。然而，由于電子計算機也可以（而且通常也會）利用流水線技術，因此在進行性能比較時需要再次謹慎。

另一個微妙之處在于，單個現代電子晶體管在典型負載下的延遲時間約為1ps，因此，如果在單個開關的層面上將光子學與電子學進行比較，光學的帶寬優勢將遠遠小于 ~100,000倍。在整個芯片層面，電子處理器的時鐘頻率比電路延遲所顯示的速度慢10-100倍，這主要是由于功率耗散的限制。相比之下，光子處理器的功耗很低；因此，在系統層面上，光學器件結合了固有帶寬和低耗散，可實現約100,000倍的潛在全系統帶寬優勢。

圖1：未來的光處理器最有可能在延遲、吞吐量或能效方面實現整體優勢的三個關鍵特性。

2）空間并行性

光子系統可以利用大量(>106)并行空間模式。在約2.5cm?2的面積上使用>108個空間模式的消費電子產品已經實現，這說明在實踐中可以實現大規模并行。學術界也開發出了控制多種模式的先進集成光子學設備（圖1c）。

對于光被限制在單個二維平面內的光子系統，如二維光子集成電路，光子元件的密度可高達~106cm?2，我們可以粗略地認為每個元件都能并行執行一個或多個計算操作（如乘法）。編寫一個或多個運算而不只是一個運算有多種原因。例如，如前所述，空間中的單個分量可并行作用于多個頻率模式，或多個偏振模式。另一種情況是，根據人們對操作的定義和對單個元件的定義，一個元件可以在光通過它的一次過程中自然地執行多個操作，例如一個50:50耦合器可以執行兩次乘法和兩次加法。

雖然這個元件密度的絕對值很高，但我們應將其與CMOS電子技術中的空間并行性進行比較，后者的晶體管密度約為1010cm?2。作為另一個比較點，舉一個未來候選電子技術的例子，IBM制造的基于相變存儲器交叉條陣列的模擬矩陣-矢量-乘法器內核，在約0.6平方毫米的芯片面積內擁有65,536個相變存儲器單元。這相當于每平方厘米約107個單元的密度，每個單元可以理解為每個時鐘周期執行一次標量模擬乘法運算。

在這種二維光子集成電路環境下，光學在可制造元件的純密度方面與電子學相比處于劣勢，因為電子學的晶體管密度比片上光子學的元件密度大104倍。這種比較可以說是最貼切的，因為在大多數情況下，基于晶體管的電子處理器是最理想的系統。不過，還可以進行其他比較。即使二維光子學也能比二維微波電子學具有空間并行性優勢：例如，光子晶體腔（諧振器）的面積可達~1μm2，而電子微波諧振器通常要大幾個數量級。

然而，如果使用第三空間維度，光學可能會在空間并行性方面獲得幾個數量級的優勢，因為電子學實際上僅限于非常有限的三維集成。典型的現代電子芯片很薄，只有1毫米左右，而且只有幾十層，而光學處理器通過體晶體或多模光纖等傳播，厚度可達幾厘米甚至幾米。然而，在NAND存儲器的具體案例中，電子集成電路已經擴展到 128層：這表明，對于存儲器而非計算而言，光子學在三維空間的擴展比電子學的優勢要小。

關于空間并行性，還有一個重要的補充觀點：重要的不僅是可制造元件的密度或數量，還有在實踐中可并行使用的元件數量。換句話說，元件密度的提高并不一定意味著計算性能的相應提高。現代CMOS電子處理器通常只能在一個時鐘周期內切換一小部分（例如3%）晶體管，這主要是由于冷卻方面的限制。如果考慮到在功率耗散的限制下有多少元件可以實際并行操作，那么二維光子集成電路在空間并行性方面與電子集成電路相比，其劣勢可能要小于元件制造密度本身所顯示的。

作為光學計算空間并行性的一個例子，自由空間光學處理器的原型已利用商用空間光調制器實現，這些調制器擁有 ~106-107個可控像素，使其成為構建高度并行系統的有用工具。通過一個具有~5 ×?105像素的光學裝置，每次通過的光可并行計算~5 ×?105的標量乘法。對于不需要空間光調制器可編程性的應用（如神經網絡推理），制造元表面提供了實現更大并行性的途徑：根據成像系統空間-帶寬乘積與面積的線性比例，我們預計可以利用~10 × 10平方厘米的面積，創建基于元表面的矩陣乘法或卷積，其預編像素（參數）大于109個。

3）幾乎無耗散的動力學

光子在自由空間光學裝置中傳播時幾乎沒有能量損耗，僅靠傳播就能進行計算。(在某些芯片上，光子的傳播甚至幾乎沒有能量損耗：例如，鈮酸鋰薄膜芯片的波導傳播損耗為0.06 dB cm?1。

那么，究竟需要進行多少計算呢？我們考慮線性光學系統和非線性光學系統的情況。

- 線性光學

通過光傳播進行計算的一個例子是，單透鏡可以有效地對照射到它上面的光進行二維傅立葉變換：光相關器和光神經網絡中的卷積層（圖1d）都利用了這一現象。更一般地說，光在線性光學系統中的傳播可以用矩陣-矢量乘法來模擬，因此只需將空間模式中編碼矢量（維數為N）的光照射到光學系統上，就能進行矩陣-矢量乘法。

- 非線性光學

在光通過非線性光學系統傳播時，也可以看到可用于計算的近乎無耗散的動力學。例如，光在具有非零二階非線性光學易感性(χ(2))的光學介質中傳播時，一般會產生和頻生成和差頻生成過程，其中輸出端的光振幅是輸入端兩個頻率的光振幅的乘積。非線性光動力學可以實現非線性數學函數：這在深度神經網絡和更廣泛的計算中至關重要。

此外，正如多個空間光束在線性光學系統中的傳播可以看作是矩陣-矢量乘積一樣，多個空間光束在非線性光學系統中的傳播可以實現矩陣-矢量乘積的高維概括，即涉及n + 1階張量的張量收縮，其中n是非線性光學感度χ(n)的階數。這是一個令人印象深刻的計算特性：在最低階非線性n = 2的情況下，僅僅通過光在系統中的傳播，所進行的計算就是一個包含~N3次乘法運算的張量收縮，其中N又是空間模式的數量。

光學非線性的階數越高，光在系統中的單次傳播所進行的計算量就越大，因為這涉及到更高階的張量。

- 具體優勢

在光學中幾乎可以無耗散地進行計算，這是有好處的。首先，我們有可能利用無耗散動力學來執行計算，所耗費的能量比在有大量耗散的不同平臺（如電子平臺）上所需的能量更少。

第二個好處是性能更高。耗散不僅會導致計算耗費更多能量，還會限制處理器的時鐘速度和并行性，最終限制其總計算吞吐量（每秒操作次數）和延遲。現代CMOS電子處理器的時鐘速度和晶體管的三維密度都受限于從中提取散熱的能力。通過顯著降低每次運算的散熱量，就有可能顯著提高時鐘速度和空間并行性（單位體積內同時執行的運算次數）。

就三維芯片而言，光子學在耗散方面比電子學有另一個潛在優勢：雖然芯片中電能的損耗通常是由于能量損耗點產生熱量（例如導線的電阻加熱），但光子學中的情況可能完全不同，因為光能的損耗通常不是由于吸收和隨之產生的熱量，而是由于散射。例如，硅光子集成電路中的波導就屬于這種情況，這表明如果構建三維硅光子芯片，芯片內波導的損耗主要不會導致發熱，而是會導致光子在芯片內散射，直到出現在表面。總之，光學中近乎無耗散的動力學使三維光子芯片的制造成為可能，而這種芯片不會像三維電子芯片那樣面臨極端的散熱挑戰，即使發生少量的光子耗散，如果是由于散射，也不會在芯片的主體內引起發熱，因此，只要避免使用吸收光子的元件，我們甚至不必擔心殘余光子損耗會造成熱管理方面的困難。

不過，這些好處也有一個障礙，那就是輸入/輸出成本：計算的輸入數據如何加載，結果如何讀出？如果輸入數據來自電子存儲器，而計算結果需要存儲在電子存儲器中，那么即使計算本身幾乎可以“免費”進行，我們也需要將電子數據轉換到光域以進行數據輸入，然后再將光答案轉換回電子域。這種內存訪問和轉換通常還涉及數模轉換和模數轉換，將耗費大量能源（與太赫茲的光帶寬相比，速度有限）。

幸運的是，這種能量成本只與輸入矢量的大小N成比例，而執行的計算量可能與N2（線性傳播）或N3（或更高的冪；非線性傳播）成比例，因此，對于足夠大的N，輸入和輸出的能量成本與電子處理器計算所需的成本相比是很小的。同樣，對于足夠大的N維向量，輸入和輸出所需的時間與電子處理器進行N2復雜度或N3復雜度計算所需的時間相比也非常少。一般來說，系數的加載（如線性傳播中的矩陣元素）也需要耗費能量和時間，但這可以在多次運行中攤銷，如神經網絡的分批推理。

4）低損耗傳輸

光“遠距離”傳輸信息的能量成本遠低于電信號，這主要是因為電線單位長度的信號衰減（能量損耗）遠高于光纖或波導。

首先，電子設備之間的光通信需要將信號從電信號轉換成光信號，再轉換回電信號，而轉換設備需要耗費能源。另外，沿著導線傳輸電信號所需的能量會隨著導線長度的增加而增加，因為導線的電阻會隨著長度的增加而增加；但這并不是問題的全部：對于細導線（如CMOS電子處理器中使用的導線），導線延遲會隨著長度的增加而二次增長，為了緩解這一問題，需要使用中繼器來恢復延遲與長度的線性比例關系，而中繼器也有能量成本（與驅動晶體管的開關有關）。

對于片上光子處理器，AIM Photonics等商業代工廠生產的氮化硅波導在波長~1,600-1,640nm時的損耗為~0.06 dB?cm?1，在電信C波段（~1,530-1,565nm）時的損耗小于 0.25 dB?cm?1。

自由空間和片上光學處理器的一個重要注意事項是，盡管元件之間的傳播損耗可能很低，但當光傳播到元件或從元件傳播出來時，通常會產生反射或散射損耗（如折射率不匹配導致的菲涅爾反射）。因此，光學處理器仍需精心設計，以避免總體光損耗過大。

光學的低損耗傳輸特性已在電子計算機中得到利用：數據中心的光鏈路、甚至芯片之間的直接光鏈路，都利用光在從幾厘米到幾米的長度范圍內傳遞信息。未來，預計甚至單個芯片內的某些通信最終也可能使用光學技術。

圖2：光學系統中的信號傳輸

光尚未用于單個電子處理器芯片內的通信，特別是短距離通信的一個主要原因是，在光域和電域之間傳輸信號的光電元件需要耗費空間和能源，只有當信號需要傳輸的距離足夠長時，才值得支付這些費用。然而，光學計算機原則上可以利用光學技術，在所有長度范圍內實現低能耗、幾乎無耗散的信息傳輸，而且無需為信號傳輸支付空間或能量成本：因為信號已經是光學的了。但需要注意的是，光學處理器將不可避免地需要使用一些能量進行轉換，例如，加載計算的初始輸入數據和/或讀出最終答案，這通常需要在電場中進行。但是，在計算過程中發生的能量轉換及其成本是可以避免的。

5）光束和“電線”可以交叉，電線則不能

在許多情況下，光學非線性幾乎可以忽略不計：不僅在自由空間環境中如此，在光功率較低、傳播長度較短的材料中也是如此；非正式地說：我們在普通光學環境中沒有光劍。在這種情況下，光束可以相互穿過而不會產生串擾。同樣，芯片上的光導線（波導；圖2b）也能以極低的串擾進行交叉；不僅在原理上如此，在實際應用中也會出現制造缺陷。

相比之下，電線需要有自己的隔離物理空間區域，除了不能相互穿過外，即使只是相互靠近，也往往會產生串擾。

這種差異為光子處理器提供了可能性，使其比電子處理器更緊湊，因為互聯是造成處理器尺寸的一個重要因素，盡管由于衍射、散射和不必要的反射，使用光束傳遞信息并非沒有自身的串擾問題。

我們可以將光束交叉的能力理解為許多自由空間空間多路復用卷積和矩陣向量乘法光學實現的關鍵因素。例如，在使用透鏡陣列進行扇出的矩陣矢量乘法器的實現中（圖3b），輸入矢量和扇出副本之間的光線會交叉。這種交叉原則上支持在小體積內實現大卷積和密集矩陣向量乘法。光學開關（圖2c）提供了另一個光束交叉可實現更緊湊設計的例子。

圖3：光學系統與電力系統的其他不同之處

6）光束可以高速可編程地轉向；而電線要么是固定的，要么只能緩慢地重新配置

自由空間光束可以輕易地重新定向（例如，使用聲光偏轉器，延遲時間為微秒量級）（圖2d），從而實現可重新配置的光互連（圖 2c）。

相比之下，芯片上的電線在制造時是固定的，連接處理器、電路板或機架之間互連節點的電線只能緩慢移動（通常為幾秒量級）。電子處理器通常通過使用多跳通信（依靠發送方和接收方之間有一條涉及一些中間節點的路徑）和交換（在固定的網絡拓撲結構中實現信號的快速重路由）來緩解固定網絡的缺點。這些策略的代價是延遲增加和潛在的帶寬瓶頸。

7）扇入（求和）和扇出（復制）在光學中的作用不同

復制要并行處理的數據（扇出）和匯總多個并行處理單元的輸出（扇入）是并行處理的重要基本原理。兩者在光學中的實現方式與電子學不同，也有不同的取舍。在數字處理器中，扇入和扇出通常保持在低于10的水平，因此每當需要更大的扇入/扇出時，就必須使用多個緩沖級（從而進一步延遲）。

在自由空間中，可以通過將光束引向空間中的一個共同點（例如，通過使用透鏡；圖3a）來對空間模式編碼的信號進行扇入；圖3a），在該點可以安裝光電探測器（如果下一步處理需要將光信號轉換為電信號）、全息元件（將不同方向的光束合并為一個方向的光束，但會損失光功率）或增強器（可以放大合并后的光束并重新發射單一光信號）。

從概念上講，將單個空間模式的信號扇出到多個空間模式的過程在自由空間中也很容易實現，基本上不需要任何特殊的工程努力（圖 3b）：想象一下一個向多個方向發射信號的光學顯示屏（如手機上的發光二極管顯示屏）--多個人從不同的有利位置觀看顯示屏，都能看到相同的圖像，我們可以解釋為顯示屏上的數據被復制了多個副本，并傳輸給了不同的接收器。

空間模式的扇入和扇出也可以很容易地在集成光子學平臺中實現。然而，在片上環境中，光的傳播實際上通常被限制在單個平面內，而在自由空間中，信號自然會在所有三個維度內傳播，這就使得扇入和扇出的程度更高。因此，在自由空間環境中使用光學扇入或扇出，比使用片上電子處理器（也是準平面）更容易獲得優勢。

到目前為止，我們已經討論了空間模式下的扇入和扇出。對于使用頻率或時間模式的光學計算機，扇入和扇出可通過其他方式實現。例如，可以通過調制光頻梳在頻域中將作為電子信號輸入的數據扇出，也可以使用波分復用技術（包括片上平臺）進行加權扇入。

要說明光扇進或光扇出為何或何時比電扇進或電扇出更有優勢，不妨考慮光學的帶寬和低損耗傳輸，以及光束可以交叉。然而，光學的扇入/扇出可能性與光學的帶寬、低損耗傳輸和光束交叉的潛在優勢截然不同，因此將光學中的扇入和扇出視為可用于光計算架構的特殊功能是很有意義的，盡管它們也可能使用光學的其他功能來良好運行。

事實上，找出潛在優勢的來源可能相當微妙。例如，扇入可以說在實現矢量-矢量或矩陣-矢量乘法引擎方面發揮了重要作用，這些引擎每次乘法使用的光能極少：在這種情況下，無論矢量大小如何，實現矢量-矢量點積的特定信噪比所需的光能都是固定的，但光電子扇入也能實現類似的效率，在這種情況下，求和是在電域中進行的。

與數字-電子方法相比，純模擬電子方法計算矢量-矢量點積的能耗也更低，因此，對于任何使用光扇入的計算方案，我們都可以問：哪一部分潛在優勢來自于以模擬而非數字方式執行求和，哪一部分來自于使用光學而非電子技術？

8）單向傳播

我們可以很容易地構建出自然單向傳播的光學系統（例如，如果在系統的一部分形成一個光腔，情況就會變得更加復雜）。相比之下，電信號可以反向傳播（圖3c）。在電子處理器中，反向傳播（從輸入到其他輸入，或從輸出到輸入）可能會導致不必要的動態變化以及不必要的功耗。在某些模擬架構中，這種差異使光學比電子更具優勢。

盡管反向傳播是電路的一個普遍特征：如果電路中沒有緩沖器或二極管等隔離元件，只要兩個連接的電路節點之間存在電壓差，它們之間就會有電流流過，即使這兩個節點是輸入端；但對反向傳播的擔憂主要出現在模擬交叉陣列處理器中，與它們的扇入階段以及潛行路徑問題有關。模擬光學矩陣-矢量-乘積引擎通常采用單向傳播，避免了模擬電子矩陣-矢量-乘積引擎（即交叉條陣）中出現的一些問題，而且光學提供自然隔離的概念更為寬泛，可在計算中發揮作用。

需要注意的是，雖然如果光線不通過任何界面，完全的單向傳播是可能的，但任何有用的光學處理器都至少涉及一些界面（例如，光線從空氣進入玻璃透鏡），因此會產生一些不可避免的反射。可以通過適當選擇幾何形狀和材料來減少反射，但永遠無法完全消除。在許多情況下，例如光學處理器的緊湊性和系統中反射的大小（換句話說，單向性）之間可能存在工程上的權衡。

9）絕熱、最小作用和最小功率耗散原理的不同實現方式

一般物理學原理：如絕熱性、最小作用原理和最小能量耗散原理，可導致物理系統啟發式地解決優化問題；這些原理的變體可用于構建優化機器（如伊辛機）。鑒于優化在機器學習，尤其是神經網絡中的核心作用，設計用于執行優化的計算機通常也非常適合執行機器學習；因此，優化方面的優勢也完全可以轉化為機器學習方面的優勢。

同樣，我們也可以將偏微分方程的求解問題重塑為變分優化問題，從而將物理學優化原理應用于更廣泛的計算領域。

例如，費馬光學的最短時間原理指出，光在兩點間移動的時間最小的路徑（圖3d）。費曼用路徑積分公式解釋了這一原理，即光可以走所有可能的路徑，但只有建設性干涉的路徑才有實質性貢獻，而傳播時間與費馬解法相差甚遠的路徑則是破壞性干涉。這一觀點可能有助于思考如何設計使用費馬大定理的優化機器。相比之下，費馬原理在電路中并沒有直接的類似物；因此，利用費馬原理進行優化的計算機更自然地可以嘗試用光學來創建。

昂薩格的最小能量耗散原理既適用于光學，也適用于電子學，但由于基礎物理學的不同，其行為和由此產生的計算性能可能會有所不同。例如，光學中的激光和參量振蕩器在增益等于損耗時有一個閾值，它們首先在損耗最小的模式中振蕩，這一事實可用于設計光學伊辛機（圖3e）。包括振蕩器在內的電路也具有啟發式能量耗散最小化的動力學特性，但它們與激光器或光參量振蕩器并不完全相同，一般來說具有不同的行為。

使用昂薩格原理的光學系統是否或在何種情況下比電子系統更具優勢，這還是一個未決問題，但光學計算機的設計者可能希望探索這種可能性。這個問題涉及多個方面：如果光學和電子動力學方程完全相同，那么出于本文所述的其他一些原因（如帶寬），光學系統仍有可能比電子系統更具優勢。

然而，我們還可以問，除了更高的帶寬導致更快的時間尺度，或更大的空間并行性導致更大的系統規模之外，底層方程之間的差異是否會導致不同的行為？換句話說，這些差異超出了迄今為止得出的其他光學與電子學的區別。

10）光的量子特性可在室溫下獲得

我們可以在室溫下存儲和處理用單個光頻光子編碼的信息，也可以在室溫下以低噪聲探測單個光子。這與微波頻率的情況截然不同，在微波頻率中，室溫下的熱噪聲會迅速淹沒存儲在單光子中的任何信息，因此無法進行低噪聲單光子探測（圖4a）。微波光子的量子特性可在約10mK的溫度下獲得，但這種低溫通常只能通過稀釋制冷機來實現，而稀釋制冷機既笨重又昂貴（金錢和能源）。

對于經典信息處理而言，由于可以操作和測量少量光子，因此與可靠運行所需的更多光子相比，能量成本可能更低。在室溫下產生和測量光的擠壓態也是可能的；擠壓態的噪聲降低可能會被證明有助于經典信息處理，例如，在固定的能量預算（光子平均數量）下實現更高的數字精度。

光學中缺乏強烈的單光子非線性，這在無串擾的信息交流中是一種優勢，但在處理光子數量較少的信息時可能成為一種劣勢，而單光子檢測則可以規避這一問題（圖4b）。檢測過程本身的非線性是一個可以利用的特點，但也可以利用光檢測來概率性地誘導多種光學模式的非線性操作。

圖4：光的量子本質

在這篇文章中，我們不考慮量子信息處理；在這里，當我們談到在量子環境中運行時，我們指的是光由光子組成，我們在如此低的功率下運行，以至于光的量子噪聲和離散性質與計算機的運行建模相關。利用糾纏等量子現象構建量子計算機的話題令人興奮，但超出了本文的討論范圍。

11）波物理學

觀察單個光子的波性很容易：在馬赫-澤恩德干涉儀中觀察單個光子的干涉是本科生的實驗（圖4c），而在片上光子處理器中光子的相干性得到了很好的保存；但觀察單個電子的波性卻很困難。即使在先進的片上電子傳輸實驗中，電子相干長度也小于~250μm，1μm至20μm之間的值更為典型，而且僅在低溫條件下。

電子的波浪特性之所以難以觀測和利用，是因為需要低溫：片上電子相干長度比片上光子相干長度更依賴于材料宿主的特性。因此，盡管光子和電子的波粒二象性都是量子物理學的一部分，但我們仍將光子的波物理學可及性視為其量子性質可及性的一個單獨優勢。

與此相對應的是，盡管觀察單個電子的波性質并不現實，但電子學中微波信號的波現象卻可以很容易地被觀察到并用于計算。然而，這些并不是單個電子的波現象，而是由許多微波光子組成的信號的波現象。這種區別在工程學上的一個關鍵后果是，電子微波信號的波長很長（例如，千兆赫信號的波長為厘米級），這就明顯限制了可能的空間平行性，而光頻光子信號則可能實現平行性：這就導致了光學相對于電子學（尤其是微波）的潛在優勢。需要注意的是，一種完全不同的微波信號也可以產生并用于計算：微波頻率的聲波。這些波盡管頻率低，但波長卻很短，但傳播速度卻比光子信號慢得多（聲速而非光速）這是用它們進行計算的一個不利因素。

我們可以通過三個主要的計算性能指標來取得優勢：延遲、吞吐量和能效。在設計光學計算機時，應針對三者中的哪一個（或哪一個組合）取決于用戶的目標，但光學技術如何能在所有三個指標上都取得優勢，還是有論據可循的。

需要注意的是，計算機還有其他一些重要指標，如尺寸、穩健性、成本、安全性（易受黑客攻擊）和準確性。例如，我們沒有理由相信光學計算機能比所有可能的電子計算機提供更高的精度，因此精度并不是我們期望的光學優勢指標，相反，我們的目標通常是在特定精度下實現延遲、吞吐量和/或能效方面的優勢。同樣，其他指標也提供了其他約束條件，光學計算機必須滿足這些約束條件，才能在某些特定使用情況下具有競爭力。

現在，我們以機器學習推理（更具體地說，圖像中的人臉識別）為例，簡要介紹這些指標。延遲（也稱延時）是指從計算機獲得輸入圖像開始，計算機對圖像中的人名做出預測所需的時間。吞吐量指的是每秒可以進行多少次推理；對于圖像中的人臉識別，吞吐量指標是每秒處理的圖像。請注意，一般情況下（1/延遲）≠吞吐量；通過流水線，吞吐量可以遠遠高于延遲的倒數。一個直觀的例子是，考慮一家使用裝配線（流水線）生產汽車的工廠：從開始到結束，工廠生產一輛汽車可能需要1天時間（延遲），但每天生產的汽車總數可達數百輛（吞吐量）。能效是指計算機在完成一次推理計算并達到指定精度時所消耗的能量；對于圖像中的人臉識別，能效指標是每處理一張圖像消耗多少焦耳。

在對這三個指標進行優化時，可能會有所取舍，因此在開始設計計算機之前，必須確定自己的目標是什么。例如，雖然最大限度地減少延遲有時是主要目標（如在高頻交易中），但提高處理器的吞吐量或能效往往是更重要的目標：在許多情況下，目標將涉及所有三個指標，如最大限度地提高吞吐量和能效，但延遲必須滿足特定目標（如在神經網絡推理中；在許多應用中，如語言翻譯，我們可能要求延遲小于1秒）。

盡管在優化計算機性能指標時通常會有所取舍（例如，在延遲和吞吐量之間），但以下策略應有助于設計可優化任何延遲、吞吐量和能效組合的計算機。

1）避免或減輕輸入和輸出瓶頸/開銷

光學計算機一般不完全依靠光學元件運行：計算機的某些輸入通常來自電子設備，和/或計算機的輸出最終來自電子設備。例如，如果光學處理器用于判斷自動駕駛汽車前是否有行人行走，其輸出需要電子化，以便輸入到汽車的控制系統中，后者可以利用這些信息來驅動剎車。如果處理器使用神經網絡，神經網絡的訓練參數很可能存儲在電子存儲器中，并需要以某種方式輸入處理器。遺憾的是，光學和電子之間的接口會造成速度上的重大瓶頸，并成為處理器能耗的主要來源。要使光學處理器在延遲、吞吐量或能效方面比電子處理器更具優勢，就必須在處理器架構設計上盡量減少光信號和電信號之間的傳輸以及模擬信號和數字信號之間的轉換所帶來的負面影響。

一個重要的緩解策略是，輸入的數據應盡可能重復使用：一旦支付了將電子數據發送到光處理器的時間和能源成本，我們就希望盡可能多地從這些數據中獲益。這既適用于轉換成光信號的數據，也適用于可能仍然是電信號但輸入處理器需要時間和能源成本的數據。光信號的重復使用可以通過各種形式的光存儲器以及通過扇出復制來實現。因此，光計算機設計人員通常會盡可能提高扇出系數。在光學矩陣-矢量乘法器中，扇出更多份輸入矢量是可取的，而且很可能是必要的，這樣才能比電子計算機獲得更大的優勢。

作為重復使用電子控制信號的一個例子，執行神經網絡推理（而非訓練）的光學處理器可將神經網絡權重加載到靜態功耗很小或沒有靜態功耗的移相器中，然后通過對這些權重進行多次推理計算（例如，通過批處理單個推理）來多次使用這些權重。這樣就可以攤銷加載權重的時間和能源成本。光子神經網絡處理器中數據重復使用的另一個例子是卷積神經網絡：相同的卷積核可以應用于輸入數據的許多不同子集，因此核權重至少在概念上可以一次加載并多次使用。

一般的設計原則是，在其他條件相同的情況下，每比特輸入數據的計算次數越多越好。這一原則本質上就是傳統計算機架構中最大化算術強度的概念。數據重用是實現這一目標的方法之一，但一個重要的補充概念方法是選擇計算任務，使該任務的光學處理器執行的計算復雜度隨輸入數據大小而快速擴展。

一個關鍵的實際情況是，就目前CMOS電子設備的速度和能耗而言，光學處理器似乎需要支持非常大的N值（例如 N >?104），才能達到交叉點，開始在矩陣-矢量乘法的基礎上提供吞吐量或能效優勢。這一事實促使人們擴大光學矩陣-矢量乘法處理器的規模，并設計出計算復雜度大于 O(N2) 的光學處理器。從這個角度來看，組合優化（如伊興解）對光學計算來說是一個很有吸引力的問題。

當光學處理器從電子存儲器中加載數據時，不僅需要支付存儲器訪問的費用（電子處理器也需要支付該費用），還需要支付將數據從電信號轉換為光信號的費用，而且可能還需要支付數模轉換的費用。由于光學處理器加載數據的成本通常比電子處理器大，因此有強烈的動機為光學處理器選擇具有更高內在數據重用性或更高算法復雜性的算法。這種軟硬件協同設計能帶來相當大的改進，而不是根據目前電子處理器上運行良好的算法來固定算法，并試圖強行將光學處理器設計成以同樣的方式運行。

雖然盡量減少和補償輸入數據的成本至關重要，但避免數據輸出的時間或能源成本過高也同樣重要。同樣，在光學處理器內進行盡可能多的計算和數據縮減，也有利于減少需要輸出的數據量。這一設計原則促使我們選擇相對于輸出大小需要大量計算的算法。舉例來說，機器學習推理通常就是如此：對于整體計算來說，答案可能只有幾十比特，輸出的是輸入數據的預測類別。

2）不要試圖直接與數字電子處理器較量

可以說，要制造出在吞吐量或能效上超越電子處理器的光處理器，最大的挑戰在于克服電子到光學和光學到電子轉換技術的性能限制。如果從電子數據開始（這是最常見的情況），并希望計算出的答案最終能在電子設備中得到（這也是最常見的情況），那么就別無選擇，只能采用上述策略，并希望能夠攤銷輸入/輸出成本。

不過，考慮到最先進的CMOS電子處理器體積龐大，而且它們在處理已經存在于電子設備中的數據方面具有先天優勢，因此現代光學處理器很可能不會首先在傳統電子處理工作流程中獲得取代加速器的優勢；相反，我們可以瞄準那些輸入和/或輸出天然是光學的應用，這樣就可以消除轉換成本。

例如，在自動駕駛汽車、顯微鏡或光譜學等應用中，輸入通常是來自相機的圖像的機器學習應用：我們可以用光學神經網絡取代相機和隨后的電子神經網絡，直接處理眼前的場景。如果最終輸出將是電子數據，也不必用光學取代所有電子圖像處理計算：可以采用光學預處理光學圖像數據的策略，對其進行智能編碼；這樣從光學到電子的輸出轉換帶寬就比一開始就將圖像數字化要低得多，從而在延時、吞吐量和能效方面帶來好處。

雖然圖像處理可以省去輸入轉換階段，因為輸入可以直接是光學的，但輸入和輸出都是光學的應用可能更有希望立即攻克。光通信的輸入和輸出都是光信號，但目前的方法需要經過多個階段，將光信號轉換為電信號進行電子處理，然后再轉換回光域。這使得光通信信號處理自然成為全光信號處理的目標，全光信號處理可減少延遲、提高吞吐量并改善能效。

許多神經網絡模型已經大到無法在單個電子處理器上運行的程度，這促使人們設計專門用于神經網絡處理的光互連。這一趨勢為神經網絡處理作為光學處理器的應用提供了另一個動力：如果電子處理器競爭也需要支付光學和電子之間轉換所產生的相對較高的能源成本，那么這些轉換成本至少不是使用光學處理器的唯一劣勢。我們可以將光學互聯數據中心中用于執行神經網絡處理的單個處理器視為一個輸入和輸出均為光學的系統，因此從這個角度來看，嘗試用光學處理器取代它是一個很有前景的候選方案。

3）結合多種光學特性，嘗試獲得優勢

這一點聽起來可能很老套，但卻很重要：任何光學處理器要想比最好的同類電子處理器更具優勢，最有可能需要利用的不僅是光學的一種特性，而且還需要精心組合其中的幾種特性。

例如，僅僅利用光學在單一空間模式下的大帶寬（即使我們暫時忽略輸入/輸出瓶頸），可能也不足以帶來吞吐量上的優勢，因為電子處理器通過巨大的空間并行性（在現代芯片中擁有1011個晶體管）來彌補較低的帶寬。同樣，僅僅依靠空間并行性可能也是不夠的：盡管光學的空間并行性相當可觀，尤其是在三維系統中，但晶體管的空間并行性通常更加驚人。

不過，如果能在單個系統中結合光學的帶寬和空間并行特性，就有可能超越電子技術。例如，想象一下能以10太赫茲的時鐘頻率并行處理107個空間模式的數據，或者并行處理107個空間模式的數據，每個空間模式有107個頻率模式；換句話說，有1014個并行的空間-頻率模式。不過，我們還可以有更多的空間和頻率模式，這只是一個例子，而不是約束。雖然如何充分利用光學所提供的帶寬和空間并行性的組合還遠未解決，但結合光學中幾乎可以無耗散地執行操作這一事實，光學在超越電子學方面大有可為。

準確預測技術的未來是很困難的，但我們可以合理地假設，在這篇文章探討的11項特性中，帶寬、空間并行性和幾乎無耗散的動態特性最有可能在未來的光學處理器中發揮關鍵作用，從而在延遲、吞吐量或能效方面帶來整體優勢。然而，許多其他功能最終也可能發揮重要作用，因此不應被忽視。

迄今為止，許多光學處理器的演示都展示了利用光學的某些特性進行計算的原理驗證，這種方式可能會帶來優勢，但系統并沒有適當地利用其他一些可用的特性，最終導致原型機不如當前的電子處理器。

最后，下面列舉了一些重大挑戰，如果這些挑戰得到解決，我們將大大接近實現實際有用的光學計算機：

- 光處理器架構設計。要設計出能最有效地利用光學特性獲得優勢的光處理器架構，是一項重大挑戰。現有的光處理器架構（使用自由空間或集成光子學）其中一些已有幾十年的歷史，顯然并非最佳架構，因此我們有機會發明經過改進或全新的設計來應對這一挑戰。

- 應用。我們需要找到光學處理器的理想應用領域。利用光計算取得優勢的主要障礙之一是與輸入/輸出相關的問題，因此我們希望找到有價值的應用，從而避免或減輕輸入/輸出瓶頸和成本。

- 非線性。非線性在許多計算中都至關重要，而低能、快速、小尺寸、可可靠制造的非線性將是一個有用的構件。這種非線性不一定是全光非線性：光電子非線性也可能有用，不過一般來說，人們可以希望從全光非線性的更高帶寬和可能更低的能耗中獲益。

- 級聯性。在許多計算中，例如在深度神經網絡中，輸入數據不是通過一個函數而是通過一系列函數輸入的。因此，計算的光學實現通常需要將光信號多次通過同一光學裝置或多個不同的光學裝置（或兩者兼而有之）。這就要求能夠在時間或空間上級聯光學過程。

- 三維設計與制造。空間并行性可通過使用三維空間得到大幅提升，如果耗散保持在較低水平，這將為電子技術提供優勢。另外，利用三維空間實現模式間的長程耦合（以及與光學傳輸原理相關的優勢）也能帶來好處；這里的關鍵問題是如何設計和制造可編程、大規模、高密度的三維處理器。

- 電子和光電元件的能源成本。光學處理器的能耗成本通常由計算機電子部件的能耗成本主導。許多光學計算方案都能從大量高速、低功耗、低成本的探測器、模數轉換器、調制器和數模轉換器陣列中獲益，甚至需要它們來提供優勢。提高這些組件的能效是一項重要挑戰。

- 規模。大多數光計算方案都依賴于并行性：無論是頻率或時間多路復用，還是空間多路復用或兩者的結合，這也是它們實現優于電子技術的部分原因。然而，吞吐量和能效優勢通常只有在系統規模（即并行操作數量）非常大時才能體現。大多數光學計算方案都面臨著巨大的擴展挑戰，無法實現實際優勢；在某些情況下，我們甚至還沒有關于如何擴展的切實可行的路線圖。

- 穩健性、可靠性和制造變化。盡管許多光學元件（如手機等消費電子設備和光纖通信系統中出現的光學元件）通常都非常可靠，但許多正在考慮用于光學計算機的光學技術在魯棒性（例如，在溫度變化或機械振動等環境擾動下的性能）、可靠性（例如，在正常運行條件下保持正常工作的可能性）和制造差異（例如，制造出來的器件在規格上與設計值的差異有多大）方面都面臨挑戰。一般來說，對于可能用于光學計算機的每種光子技術平臺，都存在如何穩定（被動或主動）它的問題。

- 存儲。為了避免電子和光學之間的轉換成本，以及避免電子存儲器訪問成本（即使在電子計算機中也是主要成本），我們通常希望能夠存儲數據，以便在光學處理中使用。

- 突破量子極限。實現光能耗最小化的途徑之一，是在光的量子特性不容忽視的情況下運行光學計算機。例如，通過使用超低光功率，信號由少量光子組成，并由單光子探測器測量。需要注意的是，光學計算機將不可避免地涉及一些電子設備，即使只是用于控制或讀出，而電子設備的能耗成本往往是最主要的，因此，只有在某些情況下，最大限度地降低光功率才會帶來巨大的好處。盡管如此，在這些情況下，無論是設計架構還是實現實用設備，都有許多工作要做，這些設備都能從量子機制中獲益。

1、優勢

?“物理域”和“計算域”的協同

計算光學成像的最大優勢在于它代表了一種嶄新的光學系統設計方式。其在建立光的幾何光學，波動光學，甚至光量子模型的基礎上，采用照明與光學系統調制等方式，建立場景與觀測之間的變換或調制模型，然后利用逆問題求解等數學手段，通過計算反演來進行成像。這種計算成像方法實質上就是在場景和圖像之間建立了某種特定的聯系，這種聯系可以是線性的也可以是非線性的，可以突破一一對應的直接采樣形式 ，實現非直接的采樣形式，使得采樣形式更加靈活，更能充分發揮不同傳感器的特點與性能。這種靈活的設計模式可以改變光學測量的性質以獲得所需的結果并平衡物理域和計算域之間對圖像生成和信息提取所依賴的資源。利用信息論的概念，不僅可以借助于傳統光學設計的優勢，還可以充分利用對于光信息處理的潛力來設計成像系統。

潛在的“通用理論框架”

計算光學成像技術的另一大顯著優勢在于其能夠有望形成一個更高維度的框架體系來分析處理與看待光學成像的具體個案問題。傳統光學成像技術的發展大多依賴于 case-by-case 的研究方式，極易造成大量重復性研究，難以揭示那些看似獨立的成像方法之間的內在關聯。此外特定方法針對核心成像指標提升的本質原因仍不明確，從而難以定量優化或進一步提升其成像潛能。而計算光學成像實則提供了一個“包羅萬象”的通用理論框架：一個典型的計算光學成像系統由照明、樣品、成像系統、探測器四部分構成。照明光與樣品發生作用后成為其本質信息 (如吸收，相位，折射率等) 的載體，通過對照明與成像系統進行光學調控使物體的本質信息轉化為光強信號由探測器離散采集，最后通過相應的計算方法對樣品本質信息進行反演，獲得樣品高維高分辨率定量數據。若能基于物理成像模型構建計算光學成像理論體系，突破“如何表示”、“如何求解”、“如何設計”三大關鍵科學問題，并在此體系下發展求解相應逆問題的標準可重用算法，發揮可見光波段光學調控手段的靈活優勢，有助于實現有限資源的最大效用，使最優核心成像指標實現質的突破，進而促使面向各類復雜現實成像應用的新理論、新機制、新技術更快，更系統地形成。

2、挑戰

成本與代價

俗話說“天下沒有免費的午餐”，任何事物的存在都具有兩面性，計算成像技術亦是如此。當設計計算光學成像系統時，必須權衡計算成像和傳統成像技術相關的成本代價與預期的功效改善。考慮的成本代價包括：進行非傳統點對點強度測量的物理元件的成本、對觀測目標多次測量產生的時間成本、數據量以及物理模型和校準與標定對處理性能的影響等。盡管計算成像技術的某些案例能夠 (在一定意義上) 簡化成像系統，但從整體來看往往并非能夠那么輕易下結論。例如：單像素成像技術雖然能夠簡化探測端，降低了采用大規模陣列探測器的成本，但是卻令照明或者光學系統變得復雜化。空間光調制器的引入往往使系統成本不降反升，多次采樣所導致時間成本與數據量的增加，重建運算所導致的復雜度往往遠高于傳統面陣成像技術。另一方面，采用昂貴的專用光學器件代替價格低廉且易于大批量生產的光學透鏡其實并非一個明智的選擇。

定制化?vs?標準化

光學系統與處理算法的聯合設計是計算光學成像系統的標志性特點，這與傳統光學成像設備與儀器的模塊化、開放式系統設計理念背道而馳。模塊化開放式系統設計模式是現代成像技術與系統的一大發展趨勢，例如：具有標準化接口的模塊化設計可以使佳能單反相機兼容尼康公司所生產的鏡頭，或在各種硬件平臺上，如照相機、手機甚至平板電腦上移植高動態范圍成像算法的應用程序。這種接口模塊化和標準化設計使光學成像設備的低成本、大規模生產成為可能，促進了包含光學傳感器的復雜消費電子設備的普及。計算光學成像的前端與后端聯合設計思路恰好與模塊化開放式系統設計思路相悖，因此計算光學成像系統必須在功能、性能、實用性或人機界面方面提供壓倒性的優勢，才有希望未來能夠克服這種標準化模塊化為主導的設計范式。

技術優勢?vs?市場需求

功能與技術的先進性和簡單易用便攜到底孰更重要？對于科研應用來說，也許前者是最重要的。但是對于商業系統，特別是消費電子類產品來說，后者才是關鍵。當計算成像技術從學術界走向產業界時，就必須認清現實——商業產品必須具備市場優勢，而不僅僅是技術優勢。例如：相比較更清晰的圖像與更高的分辨率，減少醫療成像中人體對 X 光輻射暴露的時間或減少進站安檢 X 光機所需的等待時間往往是消費者更為在意的地方。關于這方面一個眾所周知的反例就是光場相機，其所帶來的功能優勢并不能很好地彌補其在成像質量與易用性上的缺失，導致普通消費人群并沒有因為其一系列創新功能而動容買單。

3、發展機會

或許對于研究人員而言，計算光學成像最大的吸引力來自通過計算機與微處理器性能的不斷提升使光學成像也能夠搭上“摩爾定律”的順風車，利用強大的“算力”突破物理定律 (如麥克斯韋方程、光學衍射極限、采樣定律、不確定性原理等) 的限制與制約。但是對于普通大眾而言，更令他們感興趣的還是計算光學成像所帶來的功能與性能方面的提升。為了預測計算光學成像技術對未來成像系統的發展走向的影響，將著重考慮計算光學成像潛在的廣泛應用領域：科學儀器、商業工業、國防安全。

科學儀器

科學儀器是科學研究與高端制造業發展所不可或缺的重要工具，是現代工業研發與生產的重要物質支撐，也是物理、化學、材料、生命科學等實驗科學數據的根本源頭。正如之前所提及的，計算光學成像技術尤其適用于擁有廣泛消費基礎的昂貴科學儀器設備，而科學與醫學領域則是這類高端科學儀器設備的主要集散地。例如，2014 年諾貝爾化學獎被授予具有亞波長成像能力的超分辨率熒光顯微成像技術，現階段已經有眾多商業化的科學儀器與產品。對該項技術而言，科研應用對功能和性能提升上的需求遠超過計算光學成像所需的數據處理所耗費的代價，這點已經從 X-ray CT 和 MRI 等技術的廣泛推廣與應用得到證實。在此背景下，計算光學成像技術 (如單像素成像、無透鏡成像) 具有非常可觀的應用空間。

商業工業

在商業應用方面，手機攝像頭與微處理器等高度集成系統為計算光學成像提供了新的機遇。例如，在iPhone X 上集成的用于三維人臉識別的結構光傳感器。它包括精密的照明、圖像捕捉和微型化的處理芯片。目前智能手機中存在的傳感、處理、存儲、顯示和通信系統緊湊集成，這即將為計算光學成像在移動消費終端的技術落地提供沃土。另一方面，隨著觸摸屏、手勢控制、體感控制的發明，人機界面經歷了一場革命。體感控制本質上需要三維成像技術來感知人體或身體部位的位置和姿勢，從而實現計算機的遠程控制或者游戲交互娛樂。此外，當今概念大熱的“元宇宙”作為虛擬世界和現實世界融合的載體，也需要具備“沉浸感、開放性”等特征，計算光學成像 (特別是三維成像技術)、虛擬和增強現實 (VR/AR) 等成為其底層支撐技術。現階段的三維感知、VR/AR 在產業鏈成熟度、生態構建等方面，還無法支撐元宇宙的愿景。不過可以預見的是，未來計算光學成像傳感技術、顯示技術、實時交互等技術將與計算機網絡、大數據云計算、操作系統等底層技術更緊密結合并進一步共同發展，從而才能使“元宇宙”為用戶提供完美沉浸式體驗，助推實現科技與人文的結合，推動游戲、工業、教育及社交等多場景在元宇宙的漸進式發展。

工業應用方面，其目標是工業生產全線的自動化控制，包括設計、生產、加工、裝調、檢測等。計算光學成像技術在其中也有望充分發揮其優勢。例如，基于高精度三維測量技術對流水線上的工件與產品進行合規檢測，通過主動三維傳感技術提取環境信息，經過計算機處理后進行后續分析并反饋機器人執行裝配命令等，從而保證工業自動化生產全鏈路閉環控制。

國防安全

未來的國家安全與民生保障要求光電成像與探測系統能同時實現高像素分辨率，多模態成像，高靈敏度，大景深，快幀頻，而傳統光電成像技術對于解決新的未來的反恐維穩、監控安防、國防安全等領域成像探測應用需求所帶來的問題已顯得力不從心，其具體表現在：光電成像系統在信息獲取能力、功能、性能指標等方面的提高過度依賴于探測器技術水平的提高。單一成像系統難以同時實現高靈敏度，大景深，高分辨，快幀頻。此外對于傳統小視場的成像系統而言，成像分辨率往往最終由光學系統口徑所決定。然而傳統光學系統設計受限于光學衍射極限，為了實現高分辨率，必須增加光學系統的孔徑，而光學系統孔徑的不斷加大會導致體積、質量不斷增加；更重要的是，孔徑尺寸的增加往往導致景深與視場尺寸的對應縮減。因此，發展基于計算光學的新概念光電成像與探測機理與方法，指導高精尖光電成像系統的設計，已經成為國防安全領域新一代光電成像技術與系統的重要發展方向。