新的IBM Cloud Service如何檢測AI中的偏差

人工智能為企業(yè)提供了承諾，使其能夠使用復雜的算法來處理大量數(shù)據(jù)，發(fā)現(xiàn)模式，返回洞察力，并幫助推動更快更好的業(yè)務決策。通過神經(jīng)網(wǎng)絡，機器學習和深度學習獲得的圖像識別，自然語言處理，翻譯和其他功能將幫助高管們開辟新的收入來源，提高效率，降低成本并推動自動化。

與此同時，AI被視為各種各樣的“黑匣子”。數(shù)據(jù)在一端，調查結果，決策和見解從另一端出來，但是對于如何達到這些結果幾乎沒有可見性，并且隨著企業(yè)和消費者都學會更多地依賴人工智能技術，人們越來越擔心調查結果存在偏差。神經(jīng)網(wǎng)絡與進入的數(shù)據(jù)一樣好，并且數(shù)據(jù)可能會受到輸入數(shù)據(jù)的人的影響。

將透明度帶到前臺

IBM官員現(xiàn)在提供基于云的服務，旨在檢測AI中的偏差，并為AI驅動的系統(tǒng)決策提供透明度。該服務在IBM Cloud上運行，可用于管理來自各種技術供應商的AI系統(tǒng)。與此同時，該公司將向開源社區(qū)發(fā)布一個工具包，其中包括其他人可用于檢測和減輕AI偏差的技術和教育工具。

IBM Watson的首席架構師兼IBM研究員Ruchir Puri表示，隨著行業(yè)采用該技術，能夠檢測偏差并更好地了解AI系統(tǒng)的決策過程至關重要。

“為了讓人工智能蓬勃發(fā)展，企業(yè)要從中獲益，高管們需要信任他們的人工智能系統(tǒng)，”普里在公司博客上寫道。“他們需要能力來管理這些系統(tǒng)，并檢測和減輕偏見。關鍵 - 通常是法律要求 - 透明度被納入人工智能決策。例如，在保險業(yè)中，索賠理算人可能需要向客戶解釋為什么他們的自動索賠被自動處理系統(tǒng)拒絕。

“現(xiàn)在是時候開始打開人工智能的黑匣子，讓組織對他們管理這些系統(tǒng)的能力充滿信心，并解釋如何做出決策。”

隨著人工智能的新信任和透明度功能的出現(xiàn)，認知和人工智能系統(tǒng)和軟件的支出繼續(xù)迅速增加。IDC分析師本月表示，認知和人工智能系統(tǒng)的支出今年將達到240億美元，到2022年將增長到776億美元，在此期間每年平均增長37.3%。

大量公司轉向人工智能采用

IBM自己的研究發(fā)現(xiàn)，82%的企業(yè)正在考慮或正在推進人工智能的采用，重點是創(chuàng)造收入，而60%的企業(yè)擔心人工智能涉及的責任問題。IBM發(fā)現(xiàn)，63%的人缺乏利用AI的技能。

IBM的自動化服務與從流行的機器學習框架和AI環(huán)境構建的模型一起工作，如Watson，TensorFlow，SparkML，來自Amazon Web Services(AWS)的Sagemaker和Microsoft的AzureML。IBM官員表示，用戶還可以自定義服務的軟件，以更好地適應其組織的細節(jié)。

該服務可以解釋如何做出決策并在做出決策時檢測偏差，并自動推薦可以添加到正在運行的模型中的數(shù)據(jù)，以減輕發(fā)現(xiàn)的偏差。

該服務可以解釋決策中的因素，是否將決策推向一個方向，并記錄模型的準確性，性能和公平性。此外，AI系統(tǒng)的譜系可以跟蹤客戶服務，監(jiān)管和合規(guī)性原因。所有這些都可以通過可視化儀表板訪問。

人工智能與培訓一樣好

“公平是企業(yè)將AI部署到根據(jù)用戶信息做出決策的應用程序中的關鍵問題，”Puri寫道。“對任何一組用戶表現(xiàn)出偏見所造成的聲譽損害和法律影響可能對企業(yè)造成嚴重損害。AI模型與用于訓練它們的數(shù)據(jù)一樣好，開發(fā)具有代表性的有效訓練數(shù)據(jù)集非常具有挑戰(zhàn)性。“

即使在訓練期間發(fā)現(xiàn)偏見，“該模型仍可能在運行時出現(xiàn)偏差。這可能是由于不同權重分配給不同特征而導致的優(yōu)化不協(xié)調，“他寫道。

公司官員表示，面向開源社區(qū)的IBM AI Fairness 360工具包包括初始九種算法，代碼和三種教程，供數(shù)據(jù)科學家，學者和研究人員使用。將來會添加更多工具和教程。