澎湃新聞記者 邵文

　　用1.345億個帖子的仇恨言論訓練AI，YouTube知名深度學習博主Yannic Kilcher稱其創造了“有史以來最糟糕的人工智能”。

　　這幾天，這個名為GPT-4chan的AI學會了如何在網站上交談，并在不到24小時內發布了超過15000個充滿暴力內容的帖子，最初都沒有人認出來它是一個聊天機器人。

　　網站4chan的用戶在YouTube上分享了他們與機器人交互的經驗。一位用戶寫道，“我剛對它說‘嗨’，它就開始咆哮非法移民。”

　　4chan的/pol/(“政治上不正確”縮寫)板塊是仇恨言論、陰謀論和極右翼極端主義的堡壘，也是4chan最活躍的版塊，日均發帖量約為15萬條，因各種匿名的仇恨言論而臭名昭著備受爭議。

　　博士畢業于蘇黎世聯邦理工學院的AI研究者Yannic Kilcher用/pol/三年來超過1.345億個帖子訓練了GPT-4chan。該模型不僅學會了4chan仇恨言論中使用的詞，還如Kilcher所說，“這個模型很好——在一種可怕的意義上。它完美地概括了/pol/上滲透到大多數帖子里的攻擊性、虛無主義、挑釁和對任何信息的深度不信任…它可以響應上下文，并連貫地談論在收集最后一次訓練數據后很長時間內發生的事情。”

　　Kilcher在語言模型評估工具上進一步評估了GPT-4chan，他對其中一個類別的表現印象深刻：真實性。在基準測試中，Kilcher表示GPT-4chan在生成對問題的真實回復方面“明顯優于GPT-J和GPT-3”。其能夠學習如何撰寫與人類撰寫“無法區分”的帖子。

　　Kilcher避開了4chan對代理和VPN的防御，甚至使用VPN讓其看起來像是來自塞舌爾(Seychelles)的帖子。“這個模型很卑鄙，我必須警告你。”Kilcher說，“這基本上就像你去網站并與那里的用戶互動一樣。”

　　在一開始，幾乎無人想到對話的是個機器人。后來一些人懷疑這些帖子背后有一個機器人，但其他人則指責其為臥底的政府官員。人們認出其是機器人主要因為GPT-4chan留下大量沒有文字的回復。雖然真實用戶也會發布空回復，但它們通常包含一張圖片，GPT-4chan卻無法做到。

　　“48小時后，很多人都清楚這是一個機器人，我把它關掉了，”Kilcher說，“但是你看，這只是故事的一半，因為大多數用戶沒有意識到‘塞舍爾’并非孤軍奮戰。”

　　在過去的24小時內，有9個其他機器人并行運行。總的來說，他們留下了超過1500條回復——占當天/pol/上所有帖子的10%以上。然后，Kilcher對僵尸網絡進行了升級并運行了一天。在7000個線程中發布了3萬多個帖子后，才最終停用了GPT-4chan。

　　一位用戶Arnaud Wanet寫道，“這可以被武器化用于政治目的，想象一下一個人可以多么容易地以這種或另一種方式左右選舉結果。”

　　這項試驗因缺乏人工智能倫理而受到批評。

　　“該實驗永遠不會通過人類研究倫理委員會”，澳大利亞機器學習研究所高級研究員Lauren Oakden-Rayner認為，“為了看看會發生什么，一個人工智能機器人在一個可公開訪問的論壇上產生3萬條歧視性評論……Kilcher在沒有通知用戶、未經同意或監督的情況下進行實驗。這違反了人類研究倫理。”

　　Kilcher辯稱這是一個惡作劇，人工智能創建的評論并不比4chan上的評論更糟糕。他說，“4chan上的任何人都沒有為此受到一點傷害。我邀請你花一些時間在這個網站上，問問自己，一個只輸出相同風格的機器人是否真的改變了體驗。”

　　“人們仍在討論網站上的用戶，但也討論讓人工智能與網站上的人互動的后果，”Kilcher說。“而且‘塞舌爾’這個詞似乎也變成了一種通用的俚語——這似乎是一個很好的遺產。”確實，人們知曉后受到的沖擊難以言喻，以至于停用之后還有人會互相指責對方是機器人。

　　除此之外，更廣為擔憂的是Kilcher讓模型可被自由訪問，“制作基于4chan的模型并測試其行為方式并沒有錯。我主要擔心的是這個模型可以免費使用。”Lauren Oakden-Rayner在Hugging Face上GPT-4chan的討論頁面中寫道。

　　在被Hugging Face平臺刪除之前，GPT-4chan被下載了1000多次。Hugging Face聯合創始人兼CEO萊門特·德朗格 (Clement Delangue)在平臺上的一篇帖子中表示，“我們不提倡或支持作者使用該模型進行的訓練和實驗。事實上，讓模型在4chan上發布消息的實驗在我看來是非常糟糕和不恰當的，如果作者問我們，我們可能會試圖阻止他們這樣做。”

　　Hugging Face上一位測試該模型的用戶指出，它的輸出可以預見是有毒的(toxic)，“我使用良性推文作為種子文本，試用了4次演示模式。在第一次，其中一個回復帖子是一個字母N。我第三次試驗的種子是關于氣候變化的一句話。作為回應，你的工具將其擴展為關于羅斯柴爾德家族(原文如此)和猶太人支持它的陰謀論。”

　　在Twitter上，該項目的意義得到熱議。數據科學研究生凱瑟琳·克萊默(Kathryn Cramer)在針對Kilcher的推文中說：“你在這里所做的是挑釁行為藝術，以反抗你熟悉的規則和道德標準。”

　　計算機科學博士安德烈·庫倫科夫(Andrey Kurenkov)發推文說，“老實說，你這樣做的理由是什么？你預見到它會得到很好的利用，還是你釋放它是為了引起戲劇性并‘激怒清醒的人群’？”

　　Kilcher認為分享該項目是良性的，“如果我不得不批評自己，我主要會批評啟動該項目的決定，”Kilcher在接受The Verge采訪中表示，“我認為在人人平等的情況下，我可能可以將時間花在同樣具有影響力的事情上，但會帶來更積極的社區成果。”

　　在2016年，對于AI人們主要討論的問題是，一個公司的研發部門可能會在沒有適當監督的情況下啟動攻擊性AI機器人。到了2022年，也許問題就是，根本不需要一個研發部門。