【導讀】隨著(zhù)世界各個(gè)國家／地區紛紛制定人工智能相關(guān)法規，設計基于人工智能的系統的工程師必須滿(mǎn)足這些新出臺的規范和標準要求。在 2023 年 10 月 30 日，美國白宮也頒布了一項關(guān)于人工智能法規的行政命令，強調穩健的驗證和確認（V&V）過(guò)程對基于人工智能的系統至關(guān)重要。該指令要求人工智能公司報告和測試特定模型，以確保人工智能系統按預期運行并滿(mǎn)足指定要求。
隨著(zhù)世界各個(gè)國家／地區紛紛制定人工智能相關(guān)法規，設計基于人工智能的系統的工程師必須滿(mǎn)足這些新出臺的規范和標準要求。在 2023 年 10 月 30 日，美國白宮也頒布了一項關(guān)于人工智能法規的行政命令，強調穩健的驗證和確認（V&V）過(guò)程對基于人工智能的系統至關(guān)重要。該指令要求人工智能公司報告和測試特定模型，以確保人工智能系統按預期運行并滿(mǎn)足指定要求。
人工智能法規和 V&V 過(guò)程將對安全關(guān)鍵型系統產(chǎn)生重大影響。人工智能越來(lái)越多地用于系統設計，包括汽車(chē)和航空航天工業(yè)等領(lǐng)域的安全關(guān)鍵型應用。
基于人工智能的系統中的驗證和確認
驗證旨在確定人工智能模型是否按照指定的要求設計和開(kāi)發(fā)，而確認則是檢查產(chǎn)品是否符合客戶(hù)的要求和預期。通過(guò)采用 V&V 方法，工程師可以確保人工智能模型的輸出符合規范，從而實(shí)現早期 Bug 檢測并緩解數據偏向的風(fēng)險。
在安全關(guān)鍵型系統中使用人工智能的一項優(yōu)勢是，人工智能模型可以模擬物理系統并驗證設計。工程師可對基于人工智能的整個(gè)系統進(jìn)行仿真，并使用數據在不同場(chǎng)景中測試系統，包括離群值事件。如果在安全關(guān)鍵型場(chǎng)景中執行 V&V，則可確?；谌斯ぶ悄艿陌踩P(guān)鍵型系統能夠在各種情況下保持其性能水平。
大多數開(kāi)發(fā)人工智能增強產(chǎn)品的行業(yè)，都要求工程師在產(chǎn)品上市前遵循相關(guān)標準。這些認證過(guò)程可確保此類(lèi)產(chǎn)品中融入特定元素。工程師可執行 V&V 來(lái)測試這些元素的功能，這使得獲得認證更容易。
在汽車(chē)行業(yè)中，ISO/CD PAS 8800 是一項擬制標準，旨在說(shuō)明道路車(chē)輛的安全相關(guān)屬性和風(fēng)險因素。在航空航天和國防領(lǐng)域，認證是強制性要求。機載系統和設備認證中的軟件考慮因素（DO178C）等現行標準不一定能直接幫助應對人工智能所帶來(lái)的獨特挑戰。因此，新的 ARP6983 過(guò)程標準正在制定中，旨在為開(kāi)發(fā)和認證實(shí)現人工智能的航空安全相關(guān)產(chǎn)品提供規范。
Deep Learning Toolbox? Verification Library 和 MATLAB? Test? 可以幫助工程師開(kāi)發(fā)有助于遵循行業(yè)標準的軟件，并簡(jiǎn)化大型系統中人工智能模型的驗證和測試，從而使他們在航空和汽車(chē)領(lǐng)域的 V&V 方面保持領(lǐng)先地位。
航空航天工程團隊使用基于模型的設計來(lái)管理和協(xié)調復雜的需求，自動(dòng)生成代碼，并嚴格測試模型和系統。
安全關(guān)鍵型系統中的 V&V 人工智能過(guò)程
在執行 V&V 時(shí)，工程師的目標是確保人工智能組件既能滿(mǎn)足指定的要求，又能在各種工況下都表現出可靠性和安全性，因此可以隨時(shí)部署。與人工智能相關(guān)的 V&V 過(guò)程涉及執行軟件保證活動(dòng)，其中包括靜態(tài)和動(dòng)態(tài)分析、測試、形式化方法和真實(shí)運營(yíng)監控的組合。
各行各業(yè)的 V&V 過(guò)程可能略有不同，但 V&V 過(guò)程的主要步驟都包括：
l 分析決策過(guò)程以解決黑盒問(wèn)題；
l 根據有代表性的數據集測試模型；
l 執行人工智能系統仿真；
l 確保模型在可接受的范圍內運行。
下述 V&V 過(guò)程中的步驟是迭代步驟。隨著(zhù)工程師收集新數據、獲得新深入信息和集成運行反饋，人工智能系統可以得到不斷完善和改進(jìn)。
分析決策過(guò)程以解決黑盒問(wèn)題
在使用人工智能模型為系統添加自動(dòng)化功能時(shí)，工程師會(huì )面臨黑盒問(wèn)題。理解基于人工智能的系統如何作出決策，對于提供透明度至關(guān)重要，因為這使工程師和科學(xué)家能夠對模型預測建立信任并理解決策。
特征重要性分析方法可以幫助工程師確定哪些輸入變量對模型預測的影響最大。這種分析方法的工作方式因模型（如基于樹(shù)的模型和線(xiàn)性模型）而異，但是，一般過(guò)程會(huì )為每個(gè)輸入變量賦予一個(gè)特征重要性分數。重要性分數越高，該特征對模型決策的影響就越大。對于汽車(chē)行業(yè)的安全關(guān)鍵型系統，變量可能包括環(huán)境因素，如降水或其他車(chē)輛的存在和行為。
可解釋性方法有助于深入了解模型行為。當模型的黑盒性質(zhì)使我們無(wú)法使用其他方法時(shí)，這種方法尤其重要。以圖像為例，這些方法可用于識別圖像中對最終預測貢獻最大的區域。這樣，工程師便可理解模型在做出預測時(shí)的主要關(guān)注點(diǎn)。
根據有代表性的數據集測試模型
通常，工程師會(huì )評估人工智能模型在真實(shí)場(chǎng)景中的性能，以確保安全關(guān)鍵型系統能夠在這些場(chǎng)景中穩健運行。他們的目標是找出各種限制，以提高模型的準確度和可靠性。工程師首先會(huì )收集大量有代表性的真實(shí)數據集，并通過(guò)清洗數據使其適用于測試。然后，他們會(huì )設計測試用例來(lái)評估模型的各個(gè)方面，例如準確度和可再現性。最后，工程師會(huì )將模型應用于數據集，記錄結果并將其與預期輸出進(jìn)行比較。模型設計將根據數據測試的結果進(jìn)行改進(jìn)。
執行人工智能系統仿真
憑借基于人工智能的系統仿真，工程師能夠在受控環(huán)境中評估和評價(jià)系統的性能。在仿真期間，工程師會(huì )創(chuàng )建一個(gè)虛擬環(huán)境，以在各種條件下對真實(shí)系統進(jìn)行模擬。首先，他們會(huì )定義仿真系統所需的輸入和參數，例如初始條件和環(huán)境因素。然后，他們使用 Simulink? 等軟件執行仿真，該軟件會(huì )輸出系統對建議場(chǎng)景的響應。與數據測試一樣，仿真結果會(huì )與預期或已知結果進(jìn)行比較，以便于模型得到逐步改進(jìn)。
為了讓人工智能模型安全可靠地運行，必須建立界限并監控模型的行為，以確保該模型在這些邊界內運行。如果模型已基于有限的數據集訓練，并在運行時(shí)遇到前所未見(jiàn)的數據，則會(huì )出現最常見(jiàn)的邊界問(wèn)題之一。同樣，模型可能不夠穩健，有可能導致不可預測的行為。
工程師采用緩解數據偏向和增強數據的方法，以確保人工智能模型在可接受的范圍內運行。
緩解數據偏向的一種方法是，讓用于訓練人工智能模型的數據具有多變性，這有助于減少模型對限制其學(xué)習的重復模式的依賴(lài)。借助數據增強方法，可確保代表不同類(lèi)別和人群的數據都能得到公平和平等的處理。在自動(dòng)駕駛汽車(chē)場(chǎng)景中，數據增強可能涉及使用不同角度的行人照片來(lái)幫助模型檢測行人，而不管這些行人的位姿如何。數據平衡方法通常與數據增強結合使用，包含來(lái)自每個(gè)數據類(lèi)的相似樣本。以行人為例，平衡數據意味著(zhù)，針對每種不同的行人場(chǎng)景，如不同體型、服裝樣式、光照條件和背景，數據集都必須包含與之對應數量的圖像。這種方法可以最大限度地減少偏向，并提高模型在各種現實(shí)情況下的泛化能力。
在安全關(guān)鍵型場(chǎng)景中部署神經(jīng)網(wǎng)絡(luò )時(shí)，穩健性是首要考慮因素。細微而難以察覺(jué)的變化會(huì )帶來(lái)重大風(fēng)險，使神經(jīng)網(wǎng)絡(luò )產(chǎn)生誤分類(lèi)。這些干擾可能會(huì )導致神經(jīng)網(wǎng)絡(luò )輸出不正確或危險的結果。在錯誤可能導致災難的系統中，這種情況尤其令人擔憂(yōu)。一種解決方案是，將形式化方法納入開(kāi)發(fā)和驗證過(guò)程中。形式化方法就是使用嚴格的數學(xué)模型來(lái)確立和證明神經(jīng)網(wǎng)絡(luò )的正確性屬性。通過(guò)應用這些方法，工程師可以提高網(wǎng)絡(luò )對某些類(lèi)型干擾的抵御能力，從而確保安全關(guān)鍵型應用具有更高的穩健性和可靠性。
W 形開(kāi)發(fā)過(guò)程是一種非線(xiàn)性 V&V 工作流，旨在確保人工智能模型的準確度和可靠性。
結束語(yǔ)
在基于人工智能的安全關(guān)鍵型系統時(shí)代，V&V 過(guò)程對于獲得行業(yè)認證和遵循法律要求將變得至關(guān)重要。若要構建和維護值得信賴(lài)的系統，工程師需要采用驗證方法，為運行這些系統的人工智能模型提供可解釋性和透明度。隨著(zhù)工程師利用人工智能來(lái)幫助執行 V&V 過(guò)程，他們必須探索各種測試方法來(lái)應對人工智能技術(shù)所帶來(lái)的日益復雜的挑戰。在安全關(guān)鍵型系統中，這些工作可確保人工智能以負責且透明的方式得到使用。
（來(lái)源：MathWorks，作者：MathWorks 深度學(xué)習首席產(chǎn)品經(jīng)理 Lucas Garcia 博士）
免責聲明：本文為轉載文章，轉載此文目的在于傳遞更多信息，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問(wèn)題，請聯(lián)系小編進(jìn)行處理。
推薦閱讀：
泰克應用分享】實(shí)現示波器同步以獲得更高通道數時(shí)需要考慮的三件事
如何幫助提高混合動(dòng)力汽車(chē)/電動(dòng)汽車(chē)電池斷開(kāi)系統的安全性和效率
