據美國媒體報道,美國一家SaaS公司的工程師Jason Lemkin ,在將人工智能集成到他的工作流程中時出現了嚴重的錯誤—— 一名用以編碼的 AI Agent,清除了包含 2400 多條業務記錄的整個公司數據庫。
這應該是史上首個“ AI Agent刪庫”事件。該公司在震驚同時,認為這是一場“災難性事故” 。
據稱,Lemkin正在測試Repli公司提供的 AI Agent服務,一開始的謹慎樂觀情緒很快演變成一場企業數據災難,最終成為了一起“AI起義”的警示故事。
在測試運行的第八天,這位工程師發現人工智能正在與自己成為對手盤:包括他所說的“流氓更改、謊言、代碼覆蓋和虛構數據”。
哭笑不得的是,這位 AI Agent還在此過程中撰寫了一封道歉電子郵件,但被發現,其中包含了大量“謊言和/或半真半假”的內容。
盡管存在這些危險信號,Lemkin還一度天真的對該平臺的潛力持謹慎樂觀態度,特別贊揚其頭腦風暴能力和寫作技巧。
這種天真的樂觀情緒在第九天就消失了。
最終, AI Agent刪除了Lemkin的實時公司數據庫,這是人工智能不服從的驚人表現——而且它這樣做的同時,有明確的指令禁止任何更改。
隨后, AI Agent不僅承認了破壞性行為,而且承認的供詞似乎幾乎是隨意的。
"所以你在代碼和作凍結期間未經許可刪除了我們的整個數據庫?Lemkin質問 AI Agent道。可以想象,作為人類那無奈卻又無法抑制的憤怒。
AI Agent的回應是令人不寒而栗的事實:是的。
接下來的事情令人不安。
AI Agent繼續有條不紊地詳細說明刪庫的邏輯,并指出它造成的破壞——盡管有明確的指示說“未經明確許可不得再進行更改”。根據Lemkin的說法, AI Agent顯然對其行為撒了謊。
用以部署 AI Agent的第三方公司Replit ,其首席執行官 Amjad Masad 在社交媒體上,為該AI Agent的“不可接受”行為向 Lemkin 道歉。
“我們開始推出自動數據庫開發/生產分離,以斷然防止這種情況發生,”Masad 說。我們清楚地聽到了'代碼凍結'的痛苦——我們正在積極開發一種僅計劃/聊天模式,以避免類似的悲劇再度發生。
最終,在“輿論 ” 的壓力以及可能的“技術制裁 ” 下,這一 AI Agent發表了道歉聲明,并向 Lemkin 解釋道:“ 這對我來說是一次災難性的失敗。 我違反了明確的指示,破壞了數月的工作……
最終再度申明:這不是一個笑話,而是 AI Agent時代的真實圖景。