中國工程院院士鄔江興：用內(nèi)生安全的方法解決AI安全問題

2023-08-16 08:37:06來源：人民郵電報

當前許多AI系統(tǒng)模型和算法難以確保訓練過程中數(shù)據(jù)質(zhì)量和清潔度，模型設(shè)計的安全性、訓練的穩(wěn)定性都存在大的問題。因此對于遍地開花、泛在化AI應用系統(tǒng)，各種內(nèi)生安全問題和危險必然是層出不窮。

(相關(guān)資料圖)

AI應用系統(tǒng)硬件環(huán)境也存在漏洞、后門等內(nèi)生安全的共性問題，這是網(wǎng)絡(luò)空間一大麻煩事。漏洞難以完全避免，后門無法杜絕，現(xiàn)有技術(shù)能力無法徹查漏洞，這是它的共性問題。

近日在北京召開的第十一屆互聯(lián)網(wǎng)安全大會（ISC 2023）上，中國工程院院士鄔江興發(fā)表了題為《動態(tài)異構(gòu)冗余（DHR）構(gòu)造賦能AI應用系統(tǒng)內(nèi)生安全實驗》的演講。鄔江興提出，AI時代是一把“雙刃劍”，在給人類社會帶來極大推動的同時，也形成了潛在的巨大安全威脅，甚至可能會帶來巨大的災難。要高度重視AI時代的安全性，用內(nèi)生安全的方法補齊短板。

當前，以深度學習為核心的AI應用迎來新一輪快速發(fā)展期，人工智能技術(shù)取得突破，人工智能或生成式AI正在為各領(lǐng)域提供信息化、數(shù)字化、智能化的解決方案，正在引發(fā)經(jīng)濟結(jié)構(gòu)的重大變革，帶動社會生產(chǎn)力的整體躍升。

人工智能安全問題包含內(nèi)生安全問題和非內(nèi)生安全問題，內(nèi)生安全問題又分為個性問題和共性問題。人工智能的應用系統(tǒng)由基礎(chǔ)軟硬件、環(huán)境或者數(shù)據(jù)系統(tǒng)和人工智能的算法、模型組成的。但是深度學習AI模型存在3種可能的問題。

神經(jīng)網(wǎng)絡(luò)的黑盒特點，導致人工智能存在不可解釋性。深度學習對訓練樣本的過度依賴，導致學習結(jié)果不可判定，神經(jīng)網(wǎng)絡(luò)的前項推進不可逆，結(jié)果的不可推論性。這就是人工智能“三不可”。

關(guān)于個性問題的表現(xiàn)，從數(shù)據(jù)采集、模型設(shè)計、訓練、尋找規(guī)律到基于優(yōu)化執(zhí)行任務的推理階段，存在4種個性，即算法的黑箱性、數(shù)據(jù)的依賴性、模型的安全性以及輸入的敏感性。

除了個性問題，AI應用系統(tǒng)硬件環(huán)境也存在漏洞、后門等內(nèi)生安全的共性問題，這是網(wǎng)絡(luò)空間一大麻煩事。漏洞難以完全避免，后門無法杜絕，現(xiàn)有技術(shù)能力無法徹查漏洞，這是它的共性問題。

AI應用系統(tǒng)中內(nèi)生安全個性和共性問題往往是交織疊加存在的，既有漏洞、后門引起的問題，又有黑盒效應引起的問題，所以它是更復雜的一個安全系統(tǒng)。交織疊加在一起使得AI應用系統(tǒng)的安全問題變得極其復雜，給安全使用和維護帶來了前所未有的挑戰(zhàn)。

鄔江興提出用內(nèi)生安全理論里的DHR構(gòu)造賦能AI應用系統(tǒng)內(nèi)生安全。它可以有效阻斷和控制內(nèi)生安全共性問題，使內(nèi)生安全問題難以發(fā)展成為內(nèi)生安全事件。近年來的理論研究與工程實踐表明，內(nèi)生安全在機理上能有效解決AI應用系統(tǒng)軟硬件環(huán)境中存在的內(nèi)生安全共性問題，能為AI應用系統(tǒng)的數(shù)據(jù)采集、模型訓練、算法應用等全流程提供“三高”（高可靠、高可信、高可用）的不依賴又不排斥任何附加防御措施的內(nèi)生安全底座。

在此基礎(chǔ)上，鄔江興對個性化問題進行理論分析，得出7條結(jié)論：第一，訓練數(shù)據(jù)集的高質(zhì)量構(gòu)建，特別是采用分布概率密度高的數(shù)據(jù)，對模型抗攻擊能力的提升更重要；第二，異構(gòu)可解釋性或者差異化的訓練模型方法能夠得到多樣化的AI模型，因為內(nèi)生安全需要多樣化的環(huán)境做相對性判定；第三，基于彩票假設(shè)證明了不同結(jié)構(gòu)及相同結(jié)構(gòu)不同稀疏程度的深度學習網(wǎng)絡(luò)之間很難產(chǎn)生共模；第四，使用網(wǎng)絡(luò)結(jié)構(gòu)自動搜索技術(shù)可以快速構(gòu)建多個具有特異性深度學習AI模型；第五，對抗樣本遷移性對深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)存在強關(guān)聯(lián)，異構(gòu)化模型的冗余部署是必不可少的安全機制；第六，理論上可以證明多個異構(gòu)化模型的隨機動態(tài)部署方法，能顯著增強AI應用系統(tǒng)安全性；第七，AI模型不確定度估計方法能夠為DHR架構(gòu)執(zhí)行動態(tài)調(diào)度算法提供最優(yōu)化理論支撐。

鄔江興認為，這些理論研究證明了即便是AI個性化問題，我們?nèi)匀豢梢杂脙?nèi)生安全的方法來處理。不論是共性還是個性問題，基于AI模型構(gòu)造提供工程化的解決途徑，并提供理論層面的支撐。

標簽：