闡明人工智能系統如何做出選擇

人工智能(AI)和機器學習架構(如深度學習)已成為我們日常生活中不可或缺的組成部分 - 它們可實現數字語音助理或翻譯服務，改善醫(yī)療診斷，是未來技術(如自動駕駛)不可或缺的一部分。基于不斷增加的數據量和強大的新型計算機體系結構，學習算法似乎接近人類的能力，有時甚至超越它們。然而，到目前為止，用戶通常不知道AI系統究竟是如何得出他們的結論的。因此，人們常常不清楚人工智能的決策行為是否真正智能，或者程序是否只是平均成功。

來自TU Berlin，Fraunhofer Heinrich Hertz Institute HHI和新加坡科技與設計大學(SUTD)的研究人員已經解決了這個問題，并提供了對當前AI系統中觀察到的各種“智能”頻譜的一瞥，特別是用小說分析這些AI系統允許自動化分析和量化的技術。

這項新技術最重要的先決條件是TU Berlin和Fraunhofer HHI早期開發(fā)的方法，即所謂的分層相關傳播(LRP)算法，該算法允許根據AI系統做出決策的輸入變量進行可視化。擴展LRP，新穎的頻譜相關性分析(SpRAy)可以識別和量化廣泛的學習決策行為。以這種方式，現在即使在非常大的數據集中也可以檢測到不期望的決策。

據柏林工業(yè)大學機器學習教授Klaus-RobertMüller博士稱，這種所謂的“可解釋人工智能”已成為人工智能實際應用的最重要步驟之一。“特別是在醫(yī)療診斷或安全關鍵系統中，不應使用采用片狀甚至作弊問題解決策略的AI系統。”

通過使用他們新開發(fā)的算法，研究人員終于能夠將任何現有的AI系統進行測試并獲得有關它們的定量信息：從幼稚的問題解決行為開始，到欺騙策略到高度精細的“智能”戰(zhàn)略解決方案。觀察到了。

Fraunhofer HHI的組長Wojciech Samek博士說：“我們對廣泛的學習問題解決策略感到非常驚訝。即使是現代人工智能系統也并非總能找到一個從人類角度看起來有意義的解決方案，但有時會使用被稱為聰明的漢斯戰(zhàn)略。“

聰明的漢斯是一匹可以算數的馬，在20世紀初被認為是一種科學感受。正如后來發(fā)現的那樣，漢斯并沒有掌握數學，但在大約90%的案例中，他能夠從提問者的反應中得出正確的答案。

Klaus-RobertMüller和Wojciech Samek周圍的團隊也在各種AI系統中發(fā)現了類似的“聰明漢斯”策略。例如，幾年前贏得多個國際圖像分類競賽的人工智能系統采用了一種從人類的角度來看可以被認為是天真的策略。它主要根據背景對圖像進行分類。當圖片中有大量的水時，圖像被分配到“船”類別。如果有鐵軌，其他圖像被歸類為“火車”。還通過其版權水印為其他圖片分配了正確的類別。因此，人工智能系統無法解決真正的任務，即檢測船舶或火車的概念，即使它確實對大多數圖像進行了正確分類。

研究人員還能夠在一些最先進的人工智能算法中找到這些類型的錯誤解決問題的策略，即所謂的深度神經網絡算法，這種算法被認為可以免受這種失誤的影響。這些網絡的分類決策部分基于在準備圖像期間創(chuàng)建的工件，并且與實際圖像內容無關。

“這種人工智能系統在實踐中沒有用。它們在醫(yī)療診斷或安全關鍵領域的使用甚至會帶來巨大的危險，”Klaus-RobertMüller說。“可以想象，目前使用的大約一半AI系統隱含或明確地依賴于這種Clever Hans戰(zhàn)略?，F在是時候系統地檢查它，以便開發(fā)安全的AI系統。”

通過他們的新技術，研究人員還確定了意外學習“智能”策略的人工智能系統。例子包括學會玩Atari游戲Breakout和Pinball的系統。“在這里，人工智能清楚地理解了游戲的概念，并找到了一種以有針對性和低風險的方式收集大量積分的智能方式。系統有時甚至以真正的玩家不會干預的方式進行干預，”Wojciech說。薩梅克。

“除了理解AI策略之外，我們的工作為迭代數據集設計建立了可解釋AI的可用性，即用于移除數據集中的人工制品，這會導致AI學習有缺陷的策略，以及幫助確定哪些未標記的示例需要注釋和SUTD助理教授Alexander Binder表示，人工智能系統的故障可以減少。

“我們的自動化技術是開源的，可供所有科學家使用。我們認為我們的工作是使AI系統在未來更加強大，可解釋和安全的重要的第一步，并且必須遵循更多。這是一般必不可少的先決條件。使用AI，“Klaus-RobertMüller說。