深度神經網絡是一種使用數學模型處理圖像以及其他數據的多層系統，而且目前已經發展為人工智能的重要基石。

深度神經網絡得出的結果看似復雜，但同樣有可能受到誤導。而這樣的誤導輕則致使其將一種動物錯誤識別為另一種動物，重則在自動駕駛汽車上將停車標志誤解為正常前進。

休斯敦大學的一位哲學家在發表于《自然機器智能》上的一篇論文中提到，關于這些假想問題背后的普遍假設，在于誤導性信息可能給這類網絡的可靠性造成嚴重影響。

 

隨著機器學習以及其他形式的人工智能越來越深入滲透至社會，其用途也開始涵蓋從ATM機到網絡安全系統的廣泛領域。哲學系副教授Cameron Buckner表示，正是這種普及，讓了解明顯錯誤的來源變得無比重要。研究人員們將這類信息稱為“對抗性示例”，指當深度神經網絡在學習過程中遇到訓練輸入之外的其他信息時，則很有可能總結出錯誤的結論、最終引發圖像或數據誤判。之所以被表述為“對抗性”，是因為這樣的問題往往只能由另一機器學習網絡所產生或發現。作為機器學習領域中的一種前沿技術，對抗雙方將不斷升級自身能力，以更復雜的方法嘗試實現干擾與反干擾。

Buckner提到，“但這種對抗有時候可能源自人為誤導，因此要想更好地了解神經網絡的可靠性，我們必須對誤導問題做出深入研究。”

換言之，這種誤導結果很可能源自網絡需要處理的內容、與所涉及的實際模式之間的某種相互作用所引發。這與傳統意義上的誤導，似乎還不完全是同一種概念。

Buckner寫道，“理解對抗性整合的含義，可能需要探索第三種可能性：其中至少有一部分模式屬于人為創造。因此，目前的難題在于，直接丟棄這些模式可能有損模型學習，但直接使用則具有潛在風險。”

引發機器學習系統錯誤的對抗性事件除了無心而發，更可能是有意為之。Buckner認為這才是更嚴重的風險，“意味著惡意攻擊者可能會欺騙某些本應可靠的系統，例如安全類應用程序。”

例如，基于人臉識別技術的安全系統很可能遭遇黑客入侵，導致違規行為的出現;或者在交通標志上張貼某些圖形，導致自動駕駛汽車產生意外誤解。

先前的研究發現，與人們的預期相反，使用場景中天然存在著一些對抗性示例，即機器學習系統有可能因為意外交互(而非因數據錯誤)而產生誤解。這類情況相當罕見，必須通過其他人工智能技術才可能發現。

但這些問題又真實存在，要求研究人員重新考慮該如何辨別自然異常與人為誤導。

事實上，我們對這類人為誤導的理解并不清晰。但這有點像是相機鏡頭上時不時出現的光暈，類似于依靠光暈來判斷畫面中太陽的位置，研究人員似乎也可以借助這樣的蛛絲馬跡推斷機器學習中的惡意誤導方法。

更重要的是，這種新的思考方式也將影響人們在深度神經網絡中使用工件的方式，包括不應簡單將誤解結論視為深度學習無效。

他總結道，“某些對抗性事件很可能是人為設計而來。我們必須知曉其中的手法與工件是什么，這樣才能真正理解深度神經網絡的可靠性。”