12月15日，歐盟網(wǎng)絡(luò)與信息安全局（ENISA）發(fā)布了題為《人工智能的網(wǎng)絡(luò)安全挑戰(zhàn)：人工智能威脅圖譜》（Artificial Intelligence Cybersecurity Challenges: Threat Landscape for Artificial Intelligence）的報(bào)告，報(bào)告對(duì)人工智能網(wǎng)絡(luò)安全生態(tài)系統(tǒng)及威脅圖譜進(jìn)行了描述，還強(qiáng)調(diào)了人工智能安全的相關(guān)挑戰(zhàn)。

1.簡(jiǎn)介

人工智能不斷影響著我們的生活，并通過(guò)自動(dòng)化決策能力在數(shù)字化轉(zhuǎn)型中起著關(guān)鍵的作用。作為新興技術(shù)，人工智能帶來(lái)的優(yōu)勢(shì)是非常明顯的，但同時(shí)也帶來(lái)了潛在的風(fēng)險(xiǎn)。比如，人工智能技術(shù)在自動(dòng)駕駛汽車、智慧醫(yī)療等安全關(guān)鍵領(lǐng)域的應(yīng)用可能會(huì)給個(gè)人和企業(yè)帶來(lái)新的、有可能不可預(yù)測(cè)的風(fēng)險(xiǎn)中，也可能會(huì)帶來(lái)新的攻擊方法和技術(shù)，并創(chuàng)建新的數(shù)據(jù)保護(hù)挑戰(zhàn)。

要確保人工智能本身的安全，那么需要：了解要確保什么的安全；了解相關(guān)的數(shù)據(jù)治理模型；在多方參與的生態(tài)系統(tǒng)中以一種綜合的方式管理威脅；開(kāi)發(fā)特定的控制方式來(lái)確保人工智能本身是安全的。

人工智能和網(wǎng)絡(luò)安全具有多維關(guān)系，并且具有一系列的相互依賴性。

人工智能的網(wǎng)絡(luò)安全問(wèn)題。人工智能模型和算法缺乏魯棒性，存在安全漏洞，比如對(duì)抗模型干擾和操縱，針對(duì)人工智能賦能的空間物理系統(tǒng)的攻擊、對(duì)人工智能系統(tǒng)使用的數(shù)據(jù)的攻擊等。 人工智能賦能網(wǎng)絡(luò)安全。人工智能作為一種工具，可以通過(guò)開(kāi)發(fā)更有效的安全工具來(lái)創(chuàng)造更強(qiáng)的網(wǎng)絡(luò)安全能力；并利用人工智能來(lái)幫助執(zhí)法機(jī)構(gòu)等更好地應(yīng)對(duì)網(wǎng)絡(luò)犯罪，比如大數(shù)據(jù)分析調(diào)查取證、人工智能在犯罪活動(dòng)中的應(yīng)用等。 人工智能的惡意使用。人工智能的惡意使用可以創(chuàng)建更復(fù)雜的攻擊，比如人工智能用于惡意軟件生成、高級(jí)社會(huì)工程、DDoS攻擊、深度生成模型生成虛假數(shù)據(jù)、口令破解等。這類使用既包括針對(duì)現(xiàn)有人工智能系統(tǒng)的攻擊，也包括人工智能應(yīng)用于攻擊活動(dòng)中。

2.AI生命周期

人工智能系統(tǒng)的生命周期包括幾個(gè)相互依賴的階段，從設(shè)計(jì)和開(kāi)發(fā)（包括需求分析、數(shù)據(jù)收集、培訓(xùn)、測(cè)試、集成等子階段）、安裝、部署、操作、維護(hù)和處置。

圖1 人工智能生命周期通用參考模型

2.1 數(shù)據(jù)

數(shù)據(jù)是人工智能中最有價(jià)值的資產(chǎn)之一，在人工智能生命周期中會(huì)不斷地進(jìn)行轉(zhuǎn)化。圖2是數(shù)據(jù)在人工智能生命周期內(nèi)不同階段的轉(zhuǎn)化過(guò)程：數(shù)據(jù)引入（Data Ingestion）、數(shù)據(jù)探索（Data Exploration）、數(shù)據(jù)預(yù)處理（Data Pre-processing）、特征重要性（Feature importance，類似特征提取）、培訓(xùn)、測(cè)試和評(píng)估（Training, Testing and evaluation）。人工智能生命周期中的數(shù)據(jù)轉(zhuǎn)換涉及其他幾種類型的資產(chǎn)，如參與者、計(jì)算資源、軟件等，甚至包括一些非有形資產(chǎn)，如流程、文化等，參與者的經(jīng)驗(yàn)和知識(shí)可能帶來(lái)潛在的非故意的威脅。

圖2 人工智能生命周期開(kāi)發(fā)階段的數(shù)據(jù)轉(zhuǎn)化過(guò)程

2.2 人工智能生命周期的參與者

在完整的人工智能生命周期中有不同類型的參與者，其中包括人工智能系統(tǒng)設(shè)計(jì)和創(chuàng)建工程中的人工智能設(shè)計(jì)者和人工智能應(yīng)用開(kāi)發(fā)者。此外，還有開(kāi)發(fā)人工智能系統(tǒng)中所用的軟件和算法的人工智能開(kāi)發(fā)者。他們的經(jīng)驗(yàn)和能力在安全的人工智能系統(tǒng)開(kāi)發(fā)中起著非常重要的作用。

人工智能開(kāi)發(fā)者和設(shè)計(jì)者的工作與數(shù)據(jù)科學(xué)家聯(lián)系非常緊密。

數(shù)據(jù)科學(xué)家的工作包括幫助設(shè)計(jì)和開(kāi)發(fā)人工智能模型。數(shù)據(jù)科學(xué)家還參與收集和翻譯數(shù)據(jù)的工作，主要是從數(shù)據(jù)中提取知識(shí)和觀點(diǎn)。 數(shù)據(jù)工程師主要是從不同的源中提取和收集數(shù)據(jù)，然后進(jìn)行轉(zhuǎn)化、清理、標(biāo)準(zhǔn)化并存儲(chǔ)。數(shù)據(jù)工程師主要是對(duì)數(shù)據(jù)流進(jìn)行設(shè)計(jì)、管理和優(yōu)化。

人工智能生命周期中其他的主要參與者還包括數(shù)據(jù)所有者。數(shù)據(jù)所有者是用于訓(xùn)練或驗(yàn)證人工智能系統(tǒng)的數(shù)據(jù)集的所有者。數(shù)據(jù)所有者也可以是數(shù)據(jù)提供者或數(shù)據(jù)代理商。

人工智能生命周期的參與者還包括模型提供商，負(fù)責(zé)提供經(jīng)過(guò)訓(xùn)練或調(diào)整的模型。其中一些模型提供商是云提供者，以模型即服務(wù)的形式提供模型。也有第三方的提供者向開(kāi)發(fā)者提供用于訓(xùn)練人工智能系統(tǒng)的第三方框架和庫(kù)。

最后是使用人工智能系統(tǒng)的終端用戶，也就是服務(wù)的消費(fèi)者。

3. AI資產(chǎn)

威脅圖譜中非常重要的一個(gè)元素就是可能暴露給威脅的資產(chǎn)種類。除了數(shù)據(jù)、軟件、硬件、通信網(wǎng)絡(luò)等與ICT相關(guān)的通用資產(chǎn)外，人工智能還有模型、數(shù)據(jù)等特定的資產(chǎn)，具體包括以下6大類：數(shù)據(jù)；模型；參與者；過(guò)程；環(huán)境/工具；相關(guān)產(chǎn)物Artefacts。

3.1 數(shù)據(jù)

數(shù)據(jù)資產(chǎn)包括原始數(shù)據(jù)、標(biāo)記的數(shù)據(jù)集、公開(kāi)數(shù)據(jù)集、訓(xùn)練數(shù)據(jù)、測(cè)試數(shù)據(jù)集、驗(yàn)證數(shù)據(jù)集、評(píng)估數(shù)據(jù)、預(yù)處理數(shù)據(jù)集等。

3.2 模型

模型資產(chǎn)包括算法、數(shù)據(jù)預(yù)處理算法、特征選擇算法、模型、模型參數(shù)、模型性能、訓(xùn)練參數(shù)、超參數(shù)、訓(xùn)練后的模型、微調(diào)過(guò)的模型等。

3.3 參與者

參與者資產(chǎn)包括數(shù)據(jù)所有者、數(shù)據(jù)科學(xué)家、人工智能開(kāi)發(fā)者、數(shù)據(jù)工程師、終端用戶、數(shù)據(jù)提供者/代理人、云服務(wù)提供者、模型提供者、服務(wù)消費(fèi)者/模型用戶等。

3.4 過(guò)程

過(guò)程資產(chǎn)包括數(shù)據(jù)引入、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)探索/預(yù)處理、數(shù)據(jù)理解、數(shù)據(jù)標(biāo)記、數(shù)據(jù)收集、特征選擇、模型選擇/構(gòu)建、訓(xùn)練和測(cè)試、模型微調(diào)、模型適應(yīng)-遷移學(xué)習(xí)/模型部署、模型維護(hù)等。

3.5 環(huán)境/工具

環(huán)境/工具資產(chǎn)包括通信網(wǎng)絡(luò)、通信協(xié)議、云、數(shù)據(jù)引入平臺(tái)、數(shù)據(jù)探索平臺(tái)、DBMS（數(shù)據(jù)庫(kù)管理系統(tǒng)）、分布式文件系統(tǒng)、計(jì)算平臺(tái)、集成開(kāi)發(fā)環(huán)境、庫(kù)、監(jiān)控工具、操作系統(tǒng)/軟件、優(yōu)化技術(shù)、機(jī)器學(xué)習(xí)平臺(tái)、處理器、可視化工具。

3.6 相關(guān)產(chǎn)物Artefacts

相關(guān)產(chǎn)物資產(chǎn)包括訪問(wèn)控制列表、用例、數(shù)據(jù)管理、價(jià)值主張和商業(yè)模型、數(shù)據(jù)管理策略、描述性統(tǒng)計(jì)參數(shù)、模型框架、軟件、固件和硬件、高級(jí)測(cè)試用例、模型架構(gòu)、模型已經(jīng)按設(shè)計(jì)、數(shù)據(jù)和元數(shù)據(jù)方案、數(shù)據(jù)索引。

4. AI威脅

根據(jù)ENISA威脅分類方法，人工智能安全威脅主要可以分為以下幾類：

惡意活動(dòng)/濫用（NAA）：指通過(guò)惡意行為，以竊取、更改或摧毀特定目標(biāo)為目的，針對(duì)ICT系統(tǒng)、基礎(chǔ)設(shè)施和網(wǎng)絡(luò)的蓄意行為。 竊聽(tīng)/攔截/劫持（EIH）：在未經(jīng)用戶同意的情況下監(jiān)聽(tīng)、攔截或控制第三方通信的行為。 物理攻擊（PA）：旨在摧毀、暴露、更改、禁用、竊取或獲得對(duì)基礎(chǔ)設(shè)施、硬件或互聯(lián)的物理資產(chǎn)的未經(jīng)授權(quán)訪問(wèn)的行為。 非故意損害（UD）：造成財(cái)產(chǎn)或人員的破壞、傷害或傷害，并導(dǎo)致失效或降低效用的無(wú)意行為。 故障或故障（FM）：硬件或軟件等資產(chǎn)部分或全部功能失效。 停機(jī)（OUT）：服務(wù)意外中斷或質(zhì)量下降至要求水平以下。 災(zāi)害：造成重大損害或生命損失的突發(fā)事故或自然災(zāi)害。 法律（LEG）：第三方根據(jù)法律采取的行動(dòng)進(jìn)行訴訟或賠償損失。

4.1 惡意活動(dòng)/濫用（NAA）

對(duì)數(shù)據(jù)集和數(shù)據(jù)轉(zhuǎn)移過(guò)程的非授權(quán)訪問(wèn)； 對(duì)數(shù)據(jù)集和數(shù)據(jù)轉(zhuǎn)移過(guò)程的操作； 對(duì)模型代碼的非授權(quán)訪問(wèn)； 入侵和限制人工智能結(jié)果； 入侵人工智能干擾正確的數(shù)據(jù)； 入侵機(jī)器學(xué)習(xí)干擾正確的數(shù)據(jù)； 數(shù)據(jù)投毒； 數(shù)據(jù)修改； 權(quán)限提升； 內(nèi)部威脅； 優(yōu)化算法的操作； 基于對(duì)抗樣本的錯(cuò)誤分類； 模型投毒； 對(duì)抗攻擊的轉(zhuǎn)移； 在線系統(tǒng)操縱； 白盒、定向或非定向攻擊； 標(biāo)記數(shù)據(jù)操縱； 針對(duì)訓(xùn)練數(shù)據(jù)集的后門插入攻擊； 入侵機(jī)器學(xué)習(xí)訓(xùn)練驗(yàn)證數(shù)據(jù)； 對(duì)抗樣本； 降低數(shù)據(jù)準(zhǔn)確率； 機(jī)器學(xué)習(xí)模型完整性操縱； DDoS攻擊； 入侵機(jī)器學(xué)習(xí)預(yù)處理； 入侵模型框架； 數(shù)據(jù)索引破壞； 降低人工智能機(jī)器學(xué)習(xí)結(jié)果的有效性； 模型后門。

4.2 竊聽(tīng)/攔截/劫持（EIH）

數(shù)據(jù)干擾； 數(shù)據(jù)竊取； 模型泄露； 弱加密。

4.3 物理攻擊（PA）

由于不可靠數(shù)據(jù)基礎(chǔ)設(shè)施引發(fā)的錯(cuò)誤或限制； 模型破壞； 針對(duì)基礎(chǔ)設(shè)施系統(tǒng)的物理攻擊； 通信網(wǎng)絡(luò)攻擊； 其他蓄意破壞。

4.4 非故意損害（UD）

入侵或限制人工智能結(jié)果； 在數(shù)據(jù)操作過(guò)程中破壞隱私； 破壞特征選擇； 人工智能系統(tǒng)的操作配置或錯(cuò)誤處理； 機(jī)器學(xué)習(xí)模型性能降級(jí)； 在線系統(tǒng)操縱； 數(shù)據(jù)缺乏充分的表示； 統(tǒng)計(jì)數(shù)據(jù)錯(cuò)誤處理； 降低數(shù)據(jù)準(zhǔn)確率； 模型的錯(cuò)誤配置； 數(shù)據(jù)所有者引入的偏見(jiàn)； 個(gè)人信息泄露； 模型框架破壞。

4.5 故障（FM）

由于不可靠數(shù)據(jù)基礎(chǔ)設(shè)施引發(fā)的錯(cuò)誤； 第三方提供商故障； 機(jī)器學(xué)習(xí)模型性能降級(jí)； 數(shù)據(jù)質(zhì)量檢查缺失； 弱需求分析； 資源規(guī)劃不足； 弱數(shù)據(jù)管理策略； 數(shù)據(jù)索引破壞； 入侵機(jī)器學(xué)習(xí)預(yù)處理； 入侵模型框架。

4.6 停機(jī)（OUT）

基礎(chǔ)設(shè)置/系統(tǒng)停機(jī)； 通信網(wǎng)絡(luò)停機(jī)。

4.7 災(zāi)害

地震、洪水、火災(zāi)等自然災(zāi)害； 氣候變化等。

4.8 法律（LEG）

數(shù)據(jù)索引破壞； 廠商鎖定； 弱需求分析； 缺乏數(shù)據(jù)治理策略； 個(gè)人信息泄露。

5.結(jié)論

ENISA人工智能威脅圖譜是即將發(fā)布的網(wǎng)絡(luò)安全政策倡議和技術(shù)指導(dǎo)的基礎(chǔ)，還介紹了人工智能相關(guān)的挑戰(zhàn)。其中一個(gè)特別重要的領(lǐng)域是與人工智能相關(guān)的供應(yīng)鏈。因此，強(qiáng)調(diào)包括人工智能供應(yīng)鏈的所有要素在內(nèi)的歐盟生態(tài)系統(tǒng)對(duì)安全可靠人工智能是非常重要的。歐盟的安全人工智能生態(tài)系統(tǒng)應(yīng)將網(wǎng)絡(luò)安全和數(shù)據(jù)保護(hù)放在首位，并促進(jìn)相關(guān)的創(chuàng)新、能力建設(shè)、提高認(rèn)識(shí)和開(kāi)展研發(fā)活動(dòng)。