中國(guó)工程院院士鄔江興：用內(nèi)生安全的方法解決AI安全問(wèn)題

2023-08-16 08:37:06來(lái)源：人民郵電報(bào)

當(dāng)前許多AI系統(tǒng)模型和算法難以確保訓(xùn)練過(guò)程中數(shù)據(jù)質(zhì)量和清潔度，模型設(shè)計(jì)的安全性、訓(xùn)練的穩(wěn)定性都存在大的問(wèn)題。因此對(duì)于遍地開(kāi)花、泛在化AI應(yīng)用系統(tǒng)，各種內(nèi)生安全問(wèn)題和危險(xiǎn)必然是層出不窮。

(相關(guān)資料圖)

AI應(yīng)用系統(tǒng)硬件環(huán)境也存在漏洞、后門等內(nèi)生安全的共性問(wèn)題，這是網(wǎng)絡(luò)空間一大麻煩事。漏洞難以完全避免，后門無(wú)法杜絕，現(xiàn)有技術(shù)能力無(wú)法徹查漏洞，這是它的共性問(wèn)題。

近日在北京召開(kāi)的第十一屆互聯(lián)網(wǎng)安全大會(huì)（ISC 2023）上，中國(guó)工程院院士鄔江興發(fā)表了題為《動(dòng)態(tài)異構(gòu)冗余（DHR）構(gòu)造賦能AI應(yīng)用系統(tǒng)內(nèi)生安全實(shí)驗(yàn)》的演講。鄔江興提出，AI時(shí)代是一把“雙刃劍”，在給人類社會(huì)帶來(lái)極大推動(dòng)的同時(shí)，也形成了潛在的巨大安全威脅，甚至可能會(huì)帶來(lái)巨大的災(zāi)難。要高度重視AI時(shí)代的安全性，用內(nèi)生安全的方法補(bǔ)齊短板。

當(dāng)前，以深度學(xué)習(xí)為核心的AI應(yīng)用迎來(lái)新一輪快速發(fā)展期，人工智能技術(shù)取得突破，人工智能或生成式AI正在為各領(lǐng)域提供信息化、數(shù)字化、智能化的解決方案，正在引發(fā)經(jīng)濟(jì)結(jié)構(gòu)的重大變革，帶動(dòng)社會(huì)生產(chǎn)力的整體躍升。

人工智能安全問(wèn)題包含內(nèi)生安全問(wèn)題和非內(nèi)生安全問(wèn)題，內(nèi)生安全問(wèn)題又分為個(gè)性問(wèn)題和共性問(wèn)題。人工智能的應(yīng)用系統(tǒng)由基礎(chǔ)軟硬件、環(huán)境或者數(shù)據(jù)系統(tǒng)和人工智能的算法、模型組成的。但是深度學(xué)習(xí)AI模型存在3種可能的問(wèn)題。

神經(jīng)網(wǎng)絡(luò)的黑盒特點(diǎn)，導(dǎo)致人工智能存在不可解釋性。深度學(xué)習(xí)對(duì)訓(xùn)練樣本的過(guò)度依賴，導(dǎo)致學(xué)習(xí)結(jié)果不可判定，神經(jīng)網(wǎng)絡(luò)的前項(xiàng)推進(jìn)不可逆，結(jié)果的不可推論性。這就是人工智能“三不可”。

關(guān)于個(gè)性問(wèn)題的表現(xiàn)，從數(shù)據(jù)采集、模型設(shè)計(jì)、訓(xùn)練、尋找規(guī)律到基于優(yōu)化執(zhí)行任務(wù)的推理階段，存在4種個(gè)性，即算法的黑箱性、數(shù)據(jù)的依賴性、模型的安全性以及輸入的敏感性。

除了個(gè)性問(wèn)題，AI應(yīng)用系統(tǒng)硬件環(huán)境也存在漏洞、后門等內(nèi)生安全的共性問(wèn)題，這是網(wǎng)絡(luò)空間一大麻煩事。漏洞難以完全避免，后門無(wú)法杜絕，現(xiàn)有技術(shù)能力無(wú)法徹查漏洞，這是它的共性問(wèn)題。

AI應(yīng)用系統(tǒng)中內(nèi)生安全個(gè)性和共性問(wèn)題往往是交織疊加存在的，既有漏洞、后門引起的問(wèn)題，又有黑盒效應(yīng)引起的問(wèn)題，所以它是更復(fù)雜的一個(gè)安全系統(tǒng)。交織疊加在一起使得AI應(yīng)用系統(tǒng)的安全問(wèn)題變得極其復(fù)雜，給安全使用和維護(hù)帶來(lái)了前所未有的挑戰(zhàn)。

鄔江興提出用內(nèi)生安全理論里的DHR構(gòu)造賦能AI應(yīng)用系統(tǒng)內(nèi)生安全。它可以有效阻斷和控制內(nèi)生安全共性問(wèn)題，使內(nèi)生安全問(wèn)題難以發(fā)展成為內(nèi)生安全事件。近年來(lái)的理論研究與工程實(shí)踐表明，內(nèi)生安全在機(jī)理上能有效解決AI應(yīng)用系統(tǒng)軟硬件環(huán)境中存在的內(nèi)生安全共性問(wèn)題，能為AI應(yīng)用系統(tǒng)的數(shù)據(jù)采集、模型訓(xùn)練、算法應(yīng)用等全流程提供“三高”（高可靠、高可信、高可用）的不依賴又不排斥任何附加防御措施的內(nèi)生安全底座。

在此基礎(chǔ)上，鄔江興對(duì)個(gè)性化問(wèn)題進(jìn)行理論分析，得出7條結(jié)論：第一，訓(xùn)練數(shù)據(jù)集的高質(zhì)量構(gòu)建，特別是采用分布概率密度高的數(shù)據(jù)，對(duì)模型抗攻擊能力的提升更重要；第二，異構(gòu)可解釋性或者差異化的訓(xùn)練模型方法能夠得到多樣化的AI模型，因?yàn)閮?nèi)生安全需要多樣化的環(huán)境做相對(duì)性判定；第三，基于彩票假設(shè)證明了不同結(jié)構(gòu)及相同結(jié)構(gòu)不同稀疏程度的深度學(xué)習(xí)網(wǎng)絡(luò)之間很難產(chǎn)生共模；第四，使用網(wǎng)絡(luò)結(jié)構(gòu)自動(dòng)搜索技術(shù)可以快速構(gòu)建多個(gè)具有特異性深度學(xué)習(xí)AI模型；第五，對(duì)抗樣本遷移性對(duì)深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)存在強(qiáng)關(guān)聯(lián)，異構(gòu)化模型的冗余部署是必不可少的安全機(jī)制；第六，理論上可以證明多個(gè)異構(gòu)化模型的隨機(jī)動(dòng)態(tài)部署方法，能顯著增強(qiáng)AI應(yīng)用系統(tǒng)安全性；第七，AI模型不確定度估計(jì)方法能夠?yàn)镈HR架構(gòu)執(zhí)行動(dòng)態(tài)調(diào)度算法提供最優(yōu)化理論支撐。

鄔江興認(rèn)為，這些理論研究證明了即便是AI個(gè)性化問(wèn)題，我們?nèi)匀豢梢杂脙?nèi)生安全的方法來(lái)處理。不論是共性還是個(gè)性問(wèn)題，基于AI模型構(gòu)造提供工程化的解決途徑，并提供理論層面的支撐。

標(biāo)簽：