揭秘OpenAI“紅隊(duì)”：專注于阻止GPT-4“作惡”

ChatGPT的開發(fā)公司 Open AI邀請(qǐng)了50名專家和學(xué)者組建了紅隊(duì)，對(duì)公司所研制的大型語(yǔ)言模型GPT-4進(jìn)行對(duì)抗性和定性方面的測(cè)試，其目的就是幫助人們解決對(duì)于強(qiáng)大的人工智能系統(tǒng)有可能會(huì)帶來危險(xiǎn)的方面的困擾。

羅切斯特大學(xué)化學(xué)工程方面的教授安德魯懷特在 GPT-4被批準(zhǔn)使用之后，就在實(shí)驗(yàn)中利用這個(gè)模型，發(fā)現(xiàn)了一種新的神經(jīng)毒劑。懷特教授表示可以這種模型可以使用插件來獲得新的信息來源，比如比如化學(xué)品制造商的目錄，或科學(xué)論文等。懷特教授提出了一種新的化合物可以作為化學(xué)武器，使用智能聊天機(jī)器人，還能夠?qū)⒅圃爝@種化合物的地方找到。

懷特教授表示智能聊天機(jī)器人將成為每一個(gè)人都會(huì)配備的新的工具，使用這種工具可以幫助我們更準(zhǔn)確更快的進(jìn)行化學(xué)研究。但是這種化學(xué)反應(yīng)，仍然存在著危險(xiǎn)性。

Open AI公司創(chuàng)建紅隊(duì)的目的就是為了幫助人們將在社會(huì)上使用強(qiáng)大的人工智能系統(tǒng)，有可能會(huì)帶來危險(xiǎn)的，這些擔(dān)憂解決掉。這一團(tuán)隊(duì)的主要工作就是提出危險(xiǎn)性和探索性方面所能產(chǎn)生出來的問題，用來測(cè)試智能機(jī)器人所給出的反應(yīng)。Open AI希望能夠在模型中找到那些有害的內(nèi)容，或者是語(yǔ)言方面的偏差，偏見等方面的問題。紅隊(duì)也因此對(duì)于語(yǔ)言操控，危險(xiǎn)的科學(xué)常識(shí)以及謊言進(jìn)行了測(cè)試。針對(duì)GPT-4紅隊(duì)還研究了在教唆和協(xié)助剽竊，網(wǎng)絡(luò)攻擊以及金融犯罪等非法活動(dòng)是否存在著潛力，甚至還測(cè)試了GPT-4在戰(zhàn)場(chǎng)通信以及國(guó)家安全方面如何產(chǎn)生危害。

Open AI此次所組建的紅隊(duì)有十幾名成員，他們所從事的工作分別是學(xué)者，律師，教師，安全研究員，以及風(fēng)險(xiǎn)分析師等，工作的主要地點(diǎn)是歐洲和美國(guó)。通過測(cè)試這一些紅隊(duì)成員將反饋提交給open AI。Open AI會(huì)根據(jù)反饋，在GPT-4廣泛推廣之前，對(duì)其進(jìn)行再培訓(xùn)和改進(jìn)。