摘要

當前標準無法涵蓋高自動化駕駛中基于機器學習功能的安全需求。由于神經網絡的不透明性，一些自動駕駛功能無法按照 V 模型進行開發。這些功能需要對標準進行擴展。本文聚焦這一空白，為這類功能定義了功能可靠性，以幫助未來的標準控制基于機器學習功能的質量。以行人檢測為例，構建了可靠性函數。由于計算機視覺中的質量標準未考慮安全性，因此設計了新的可靠性表達和評估方法。

1. 引言

半導體產業和人工智能的發展使我們離完全自動化駕駛越來越近。然而，從手動駕駛輔助到脫手自動化駕駛的轉變，需要系統安全性發生巨大變化，這可能會重塑車輛安全系統的開發流程，并重新定義制造商和用戶之間的法律責任。人工神經網絡的應用被視為解決高自動化駕駛（HAD）中部分甚至全部任務的有效方法，但神經網絡的不透明性對標準開發流程和功能安全考量提出了挑戰。

在這項工作中，我們探討了現有標準在高自動化駕駛車輛中基于機器學習功能的適用性，并提出了一種新的可靠性來填補高自動化駕駛安全需求的空白，而當前標準并未涵蓋這一空白。我們構建了函數，以數學方式表達行人檢測中的這種可靠性，并歸納了可以提高這種可靠性的方法。

本文的結構如下。第 2 節介紹了當前標準在應用于高級自動駕駛車輛時的不足。在第 3 節中，我們限定了應用范圍，并為不同目的定義了可靠性函數。第 4 節討論了可靠性的增強方法。我們在第 5 節總結了我們的工作。

2. 功能安全的轉變

功能安全是電氣 / 電子 / 可編程電子（E/E/PE）系統整體系統安全的重要組成部分。其目的是保護人們免受因人為錯誤或系統失效導致的不可接受的人身傷害或健康損害風險。在汽車行業，由于電子元件的高度集成及其與安全性的密不可分的關系，必須在概念階段詳細考慮功能安全，并在測試階段進行全面驗證。因此，國際標準化組織發布了 ISO 26262：《道路車輛 —— 功能安全》，為汽車制造商提供指導。另一方面，ISO 21448：《道路車輛 —— 預期功能安全》（通常縮寫為 SOTIF）專注于如何規范、開發、驗證和確認目標功能，使其被視為足夠安全。

在過去十年中，神經網絡（NN）和深度學習的發展在計算機視覺和機器人領域取得了突破，這對當今學術界和工業界的自動駕駛產生了深遠影響。在汽車行業，傳統的功能安全標準不再適合指導基于神經網絡的安全功能的設計和驗證。ISO 26262 遵循著名的 V 模型，該模型將目標功能分解為子規范，并在這些規范下進行開發。這樣的過程被稱為白盒，整個數據處理是透明且可理解的。相反，神經網絡通常是黑盒，輸入和輸出之間的映射是一種統計近似，人類無法理解。SOTIF 旨在解決 ISO 26262 的這種不足，但主要關注駕駛輔助系統，而不是高自動化駕駛系統。在駕駛輔助系統中，當發生失效時，駕駛員應安全接管車輛。然而，高自動化駕駛系統本身應確保在發生失效時處于無危險狀態。因此，SOTIF 無法涵蓋高自動化駕駛的安全需求。高自動化駕駛的前景要求更多地關注汽車中基于神經網絡功能開發的規范化。規范化的核心工作之一是將功能安全需求納入高自動化駕駛功能中。就像 ISO 26262 中對硬件可靠性的要求一樣，高自動化駕駛系統中功能的可靠性也應被定義，以便確定相應的汽車安全完整性等級（ASIL）和安全方法。

然而，ISO 26262 中定義的可靠性無法描述高自動化駕駛功能的可靠性。在高自動化駕駛系統中，將使用多個傳感器來感知環境。基于環境建模，神經網絡將被用于理解周圍環境（例如行人、障礙物和停車位）并控制車輛安全行駛。在這種情況下，與傳統的車輛機電系統不同，一個特定的傳感器負責多項任務，而多個傳感器協同工作以完成一項特定任務。因此，我們提議使用功能可靠性來描述特定高自動化駕駛功能的質量。功能可靠性可以在開發階段通過使用驗證數據集進行驗證和計算。在未來的標準中，可以給出可靠性基準來指導汽車制造商。以下各節將通過一個示例來闡明這一概念。

同樣，軟件工程中存在軟件可靠性的概念。它也不能涵蓋高自動化駕駛的安全需求，因為沒有考慮不同功能對安全性的不同影響。想象一下，未檢測到道路上的人以及未檢測到停車位的后果。與軟件可靠性不同，功能可靠性是以功能為導向的，服務于安全評估。

3. 機器學習功能的可靠性

在本章中，我們以行人檢測為例，闡明如何評估高自動化駕駛中機器學習功能的功能可靠性，以及它如何描述該功能在安全性方面的質量。

3.1 功能邊界

在諸如 STAMP（系統理論事故模型與過程）等系統安全方法中，必須明確定義安全約束或邊界。為了分析預期功能的可靠性，需要明確功能邊界和用例。因此，已定義的用例只是預期功能的一部分。

高自動化駕駛有兩種策略：端到端策略和感知 - 規劃 - 行動流水線策略。端到端意味著算法將傳感器數據直接映射到駕駛命令，沒有任何中間步驟，而經典方法則手動將過程分解為上述流水線。NVIDIA 認為，手工設計的接口通過限制系統中的信息流最終會限制性能，并持續研究端到端解決方案，他們開發了 PilotNet 來驗證該策略。然而，端到端學習方法的安全需求更為抽象，制定和驗證可測量的性能標準明顯更加困難。分解后的過程通常遵循感知與定位、高級路徑規劃、行為仲裁、運動控制的流水線。在每個部分中，都會設計若干功能。因此，可以狹義地定義功能邊界，以便在產品投放市場時明確法律責任。因此，考慮到可執行性，我們制定的第一個邊界是：基于機器學習的行人檢測的可靠性是針對分解的高自動化駕駛策略定義的。

訓練技術是另一個深刻影響安全邊界的因素。神經網絡可以經過充分訓練后再應用。在應用過程中，網絡的知識、能力和性能不會改變。這就是所謂的離線訓練。這種訓練是集中式的，所有部署都具有完全相同的性能。相反的是在線訓練，神經網絡在應用過程中不斷從輸入中學習，為此，需要一種評估輸入的機制。顯然，由于個體差異，這種網絡的每個部署都會有不同的演化。這種方法經常用于強化學習。顯然，分散式、在線訓練目前對安全驗證提出了巨大挑戰。因此，我們定義第二個邊界：所考慮的可靠性針對集中式、離線訓練的神經網絡。

在這些約束下，我們定義了高自動化駕駛中的行人檢測功能。首先，我們制定優先定義，該定義與安全相關，應進行驗證。接下來是廣義定義。

優先定義：在城市地區（車速通常低于 60 公里 / 小時），檢測和跟蹤自動駕駛車輛行駛方向前方的所有行人。

廣義定義：檢測和跟蹤車輛周圍所有方向的所有行人。

圖 1 顯示了用例場景和相應的定義區域。

圖 1. 駕駛場景。紅綠色區域滿足優先定義。紅到綠的顏色漸變描述了采取行動的緊迫性。檢測區域 1 中的人對質量要求最高，而區域 2 中的預測能力衰減是允許的。與區域 3 中的人進行交互屬于行人行為理解研究。由于其與安全無關，檢測區域 4 只是廣義定義的任務

3.2 功能的統計可靠性

相機是通常用于行人檢測的主要傳感器。基于卷積神經網絡的神經網絡將用于圖像處理。與傳統傳感器直接將測量量轉換為電信號不同，神經網絡的輸出是基于大量訓練數據的統計結果。傳統傳感器給出的測量值具有滿足高斯分布的置信區間，可以用測量不確定度來表示。這種表示在質量管理中是有意義的。神經網絡的預測也給出了置信度，然而，該值反映的是樣本與擬合函數的擬合優度，并不能匹配正確預測的實際概率。因此，這種描述不適用于可靠性。

在計算機視覺中，以下概念廣泛用于衡量目標檢測：tp（真陽性）、fp（假陽性）、fn（假陰性）、tn（真陰性）、P（精確率，tp 與所有檢測結果的比值）、R（召回率，tp 與所有真實值的比值），

以及 IOU（交并比）：

其中 A 表示圖像中區域的面積，D 是檢測到的目標邊界框，T 是匹配的真實邊界框的面積。

由于這些概念從不同維度定量描述了單目標檢測算法的質量，我們打算在定義可靠性時對其進行擴展。

tp 和 fp，或者 P 和 R 在數學上不是獨立的。預定義的 IOU 閾值決定了 tp 和 fp 之間的邊界。當 IOU>IOU 閾值時，檢測結果為 tp，反之則為 fp。因此，應為高自動化駕駛中的所有行人檢測方法統一定義 IOU 閾值，以便定義單次檢測的基本質量，并使 P 和 R 能夠解耦。定義 IOU 閾值需要討論和驗證。高 IOU 閾值會將可接受的檢測視為錯誤，而低 IOU 閾值會導致感知精度不足，報告的檢測結果可能與真實情況偏差很大。

考慮到車輛的反應（如剎車、轉向、減速）時間，必須給出物體與車輛之間的距離 s 來評估可靠性。城市地區常見限速 30 公里 / 小時和 50 公里 / 小時的制動距離分別為 10 米和 29 米。我們建議使用 10-20 米和 30-50 米之間的物體來評估可靠性。其他距離（如 100 米）可作為補充用于不常見情況。

精確率 P 影響車輛的乘客舒適性。精確率低的算法標記的陽性檢測結果比真實值多。車輛狀態會更頻繁地調整，可能會進行不必要的緊急制動。召回率 R 影響行人安全。未檢測到的真實值可能導致碰撞和事故。IOU 表示檢測的準確性。IOU 越高，速度和距離的預測就越準確。

基于上述論點，我們定義代數可靠性 Rs：

其中 s=10 米、30 米，可能還有 100 米

i-P、R 和 IOU，RP=P 等。

k - 影響因子，kP + kR + kIOU = 1

代數可靠性全面描述了功能質量。不同距離的可靠性將分別表示。定義 ki 與定義 IOU 閾值類似，必須考慮舒適性和安全性之間的平衡。考慮到安全的重要性，kR 應在 Rs 中占主導地位，其次是 kP。

此外，我們定義可靠性向量 R：

可靠性向量 R 能夠進行可視化表示。見圖 2。

圖 2. 可靠性向量的可視化。經過驗證的可接受的最低可靠性要求可以在圖中顯示為安全面。目標點是理想功能。它們之間的體積定義為安全體積。只有可靠性向量指向該體積的行人檢測算法才能被視為功能安全的

考慮到上述定義的 ki 的不均勻性，不建議通過向量的大小來表示可靠性。

其他研究人員建議使用真實值和檢測結果之間的垂直和水平像素偏差來判斷置信水平。在這種情況下，可以考慮偏差的方向影響，但這會使可靠性表達復雜化。

3.3 功能的動態可靠性

SSD（單次多框檢測器）是當今最好的目標檢測算法之一，在 512×512 圖像的行人檢測中，其平均精度（AP）超過 84.5%。改進的算法 FSSD 在相同輸入下甚至達到 90.2%，使用單個 NVIDIA 1080Ti GPU，對于 300×300 的輸入尺寸，速度達到 65.8 FPS。這樣的分數對于正常的目標檢測任務來說是令人印象深刻的。然而，在高自動化駕駛系統中，必須處理漏檢以滿足安全需求。最簡單的解決方案之一是投票機制：基于 3 幀進行預測，其中至少在兩幀中被標記為 tp 的物體將被視為陽性。假設 FSSD 的 90.2% 的 AP 對每次檢測都有效，將其應用于 3 個獨立幀，在這種情況下，最終的 AP 可以顯著提高到 97.3%。

另一方面，如果沒有上述高級功能（如速度估計和運動預測），行人檢測本身的意義有限。這些方法屬于計算機視覺中的多目標跟蹤（MOT）。由于高自動化駕駛是一個高度動態的系統，對周圍其他交通參與者的有效預測可以通過預測性駕駛改善安全性和舒適性。采用的標準算法是檢測跟蹤，其中連續幀中的檢測結果通常是跟蹤功能的基本輸入。我們定義的行人檢測還包括行人跟蹤。同一物體在不同幀中的偏差會影響預測質量。

因此，我們提議驗證該功能的動態可靠性。在多目標跟蹤中，有兩種廣泛使用的指標來評估跟蹤質量：CLEAR MOT 指標和 ID 分數。CLEAR MOT 側重于檢測質量，類似于統計可靠性的標準，而 ID 分數方法則專注于匹配級聯。然而，在高自動化駕駛系統中，匹配級聯并不是與安全相關的因素。兩個不同行人的 ID 切換不會影響車輛的運動控制。因此，這兩種指標都不適合動態可靠性。

圖 3. 左圖：gt 向量是物體的真實運動，t 向量是物體的跟蹤運動。t 向量將被輸入到其他功能中。關鍵幀是將估計物體運動的幀。d 向量是我們定義的用于描述跟蹤質量的偏差向量。右圖：將所有 gt 向量的端點移動到 P 點，交叉所有 a 向量的端點，我們看到所有預測偏差的分布。d 向量的平均值是 davg 向量

我們提議使用預測的平均偏差向量來描述預測準確性，并使用偏差的分布來描述預測精度。見圖 3。

這種描述可以完美匹配傳統的測量技術。davg 向量與系統誤差匹配，交叉點與 M 點之間的距離可以視為隨機誤差。研究了自動駕駛中使用的 YOLOv2 算法的像素級偏差分布。結果表明，x（水平軸）和 y（垂直軸）像素誤差在 x 和 y 像素方向上分別呈正態分布，因此可以評估 μ 和 σ。因此，動態可靠性可以表示為：

這個定義可以有益于為高自動化駕駛設計的安全功能。假設一種算法在行駛方向上的動態可靠性 μ 為 1 米，在橫向方向上為 0 米，σ 為 1 米，物體被預測在車輛正前方 30 米處，可以得出結論，95.45%（2-σ）的情況下距離大于 29 米，99.73%（3-σ）的情況下距離大于 28 米。在這種情況下，使用 28 米進行運動控制的適用性為 99.73%。

這種分布對于其他算法尚未被證明有效。關于創建邊界框的原理，我們假設類 YOLO 算法（單階段）滿足正態分布。兩階段方法的分布有待研究。即使偏差不是正態分布，相應的概率密度函數也可以表示動態可靠性，并指導安全功能的設計。

4. 提高與安全相關的機器學習功能的可靠性

我們提出的可靠性旨在反映準確感知駕駛環境的能力。感知越準確，車輛行駛就越安全、越舒適。因此，可靠性優化在開發中發揮著作用。考慮到感知過程，我們提出兩個提高可靠性的方向，即傳感和算法方面。

相機作為行人檢測的主要傳感器，由于計算能力有限和感光元件性能的限制，存在固有的不足，如分辨率低、色彩敏感性和動態范圍有限。傳感器融合是抵消單一傳感器固有不足的有效方法。例如，當車輛進出隧道時，相機視線受阻，激光雷達可以感知環境。另一種廣泛使用的提高功能安全的方法是冗余。額外的容錯能力通常可以提高安全完整性等級。這也是解決特定陽光角度導致特定相機視線受阻的實際解決方案。

此外，諸如 LSTM（長短期記憶網絡）和卡爾曼濾波器等預測算法可以提供被遮擋物體的預測位置，或者在相機視線受阻時提供預測位置。借助基于貝葉斯網絡的行人行為理解，可以構建行人運動的多預測。預測將參考行人過去的位置、速度以及意圖。車輛與行人之間的交互將像在現實中一樣建立。

5. 結論與未來工作

在這項工作中，我們研究了隨著自動駕駛的發展，安全需求的演變。我們闡述了現有標準在高自動化駕駛中應用的不足，并提出了功能可靠性的應用。為了評估和驗證基于機器學習的高自動化駕駛功能的可靠性，我們在預定義的約束下提出了可靠性函數的定義，以定量描述行人檢測在安全性和舒適性方面的可靠性。最后，我們指出了一些可以提高所定義可靠性的實用方法。

未來，我們將實施和驗證我們提到的一些傳感器融合和算法方法。我們致力于在高自動化駕駛中實現一種安全、可靠且穩健的行人檢測方案。我們建議自動駕駛界和汽車行業密切參與創建驗證數據集和定義高自動化駕駛中的關鍵參數，以加速高自動化駕駛車輛開發的標準化。