人工智能（AI）是未來的技術。怎樣才能管好AI、用好AI，不僅需要我這樣的AI研究人員，還需要來自金融、經濟等各領域的人士的集思廣益。下面我談一談自己的看法——怎樣把AI管起來，讓它成為開創美好未來的工具？
在我最優秀的學生里，中國人占到很大的比例。所以每次來到美麗的中國，我都特別高興。接下來我要介紹的工作進展，有部分就是由我的中國學生完成的。
剛才，我們聽常啟德先生介紹了聯合國可持續發展目標。我同意他的看法。事實上，我們最近寫了一篇論文，揭示了AI的巨大潛力，如果使用得當，勢必有助于我們更快地實現這些目標——不僅是在金融領域，而是對全世界全人類而言。
現在：人工智能能做什么？
近幾年，人工智能的發展可謂一日千里。我們看個機器人行走的視頻，不久前還是這水平：
00:10
第二個機器人特別尬，因為是麻省理工的機器人……現在的機器人已經完全不同：
00:15
我們再試試Midjourney。2022年，我們向這個生成圖像的AI輸入了一個指令，得到圖一：
圖一
一年后，輸入同樣一個指令，得到的是圖二：
圖二
所以說，進步是肉眼可見的快。
再看一個有聲音的：
00:08
“深度偽造”（deep fake），也到了真假難辨的地步。這真的不是湯姆·克魯斯嗎？當然不是。
有些研究人員認為，這些大型語言模型仍然非常愚蠢，缺乏對世界的深刻理解。雖然看上去花俏，但并沒有超出統計學的范疇，他們把這些模型叫做“隨機鸚鵡”（stochastic parrots），言下之意，它們只是在重復以前聽過的東西。我們最近的一篇論文，證明這種看法是錯誤的。
這些大語言模型能夠自主開發模型，并合成它們所學到的東西。以Llama2為例。這個AI從未受過圖像訓練，也沒見過世界地圖。但我們發現，僅僅通過閱讀文本，它就在心里，準確地說，是第53層創制了一幅字面意義上的世界地圖（圖三）。它知道北京在這里，波士頓在那里，還知道你去過哪里。
圖三
事實上，Llama2不僅建構了一個物理世界的模型，還建構了一個抽象概念的模型，比如是非對錯。我們錄入了很多句子，有些是對的，比如“北京在中國”，有些是錯的，比如“芝加哥在馬達加斯加”，然后觀察它怎么處理這些信息。我們發現，在某一層，Llama2把它認為正確的信息放在左邊，錯誤的則放在右邊。所以，我們其實可以打造一個大語言模型的測謊儀，看看AI有沒有撒謊，它告訴你的是不是正確的，以及你們交互的結果是否與它認為是正確的相同。
可見，這些模型已經變得很聰明，問題是：它們能走多遠？我喜歡用抽象的任務景觀來思考這個問題——海平面代表2018我年制作這個bot時人工智能執行任務的水平，高地則代表人類的水平（圖四）?，F在許多高地都沉到海平面下面了，可見這幾年人工智能發展得有多快。
圖四
末日：人工智能控制人類？
現在，人工智能已經勝任很多編程工作，它們開始證明數學定理，創作藝術作品，還能給我們當副駕駛。那么，問題來了：我們會有實現人工通用智能（AGI）的那一天嗎？
到那天，大水將淹沒所有的陸地，而人工智能可以像人類一樣去完成人類所有的任務。到那天，人工智能自己就能開發人工智能，甚至比人類做得還要好——那以后人工智能發展的速度會比現在快得多，因為開發AI的是AI，而不是人類這種精力有限的肉體凡胎。AI的智能每個月、每星期，甚至每一天都會翻番，也許還會出現智能爆炸，到那時AI會比人類聰明得多，就像人類比毛毛蟲和蝸牛聰明得多一樣。
關于人工通用智能，爭議一直很大，眾說紛紜。不過，大家的觀點一直在變。幾年前，我的MIT同事羅德尼·布魯克斯（Rodney Brooks）預測說，人類在未來三百年內是搞不出AGI的。AI研發人員比他樂觀，但也認為我們距離AGI還有好幾十年。多數同仁認為，我們三十年內是做不出像ChatGPT4這樣聰明的AI的。但現在，我們已經做出來了。微軟聲稱在ChatGPT4中看到了AGI的火花，也就是說，我們正在靠近人工通用智能。
在座的可能都聽說過本吉奧（Yoshua Bengio），他是被引用次數最多的人工智能科學家，不出意外的話，很快就會成為史上被引用次數最多的科學家。按照他的觀點， ChatGPT 已經通過“圖靈測試”，能夠很好地掌握語言和知識，足以讓人誤以為它是人類。
過去三年里，人們對AGI預測的變化是有那么大。生成式人工智能（Gen AI）和大語言模型的出現，“砰”地一下改變了人們的看法。顯然，AGI不再只是一種長期的可能性。根據AI領軍企業Anthropic的CEO達里奧·阿莫代（Dario Amodei）的判斷，它兩三年內就會出現。所以我們不應該再使用“長期”這個詞，因為這讓AGI聽起來跟恐龍一樣遙不可及。當然，未來存在各種可能性，抵達AGI也許真的需要很長時間。我們不妨多討論討論。
人工智能的教父阿蘭·圖靈（Alan Turing）曾在1951年就預言說：如果AGI出現了，那么很快，機器就會變得很聰明、超級聰明。它們會控制一切，換句話說，人類將失去對地球的控制。
這聽上去可能挺奇怪的。所以，阿蘭·圖靈為什么要說這樣的瘋話呢？如果你只是把人工智能當成一門技術，就像是電力或者互聯網，那就真的沒什么好擔心的。但圖靈顯然不這樣認為。在他看來，人工智能不是一門技術，而是一個新的物種，一個在各方面都碾壓我們的數字代理和機器人物種。它們取得控制權是自然而然的事。
不只圖靈這樣認為。OpenAI首席執行官山姆·奧特曼（Sam Altman）設想過一種極端場景，就是我們所有人都會被淘汰。“極端”可能只是一種禮貌的說法，達里奧·阿莫代認為概率在10% 到 25%之間。事實上，中國和西方頂級的AI研究人員最近都警告說，人工智能可能導致人類滅絕。雖然只是“可能”，不“一定”會發生，但我們必須認真對待這一風險，并努力化解它。
未來：可證明安全的人工智能
接下來，我想談談怎么把AI管起來，在一切變得不可控之前。畢竟，是我們人類在創造AI，我們還不至于束手無策——所以讓我們一起確保人工智能為我們所用，管好它，用它創造美好的未來。
我們應該怎么做呢？我認為，我們首先要有遠見，想得遠，才能做得大。本吉奧、我和其他一些研究人員正在擬訂一項倡議，我們管它叫“定量人工智能倡議”。前幾周，我們寫了一篇論文專門解釋這一“安全人工智能”的愿景。
其基本邏輯是：當技術很薄弱時，我們不用太擔心安全問題——如果出了問題，我們可以想辦法解決；技術越強大，容錯率就越低，我們就越是要在安全性上下功夫。
比如說有人想在中國推出新型飛機，要做到怎樣才算安全達標呢？“我們感覺良好。我們試飛了一個小時，沒掉下來，所以是安全的”——這顯然是不夠的，要做的遠遠不止于此。我們得進行定量計算，比如估算飛機在某一年發生故障的概率，如此這般，直到我們能夠證明它足夠安全，利大于弊。對于人工智能的安全性，我們同樣需要進行事先的定量計算。我相信我們可以做到。
以其底層技術的革新為標志，人工智能經歷了許多不同的發展時期。從計算上看，我們經歷了打孔卡時期，然后是磁帶、晶體管、集成電路等等，到現在的微芯片時期。硬件方面，GPU的迭代速度極快；軟件方面，各種算法也是日新月異。
而我們這個時期的標志，我認為是“Transformer”模型，它是所有大語言模型的基礎。許多年后，人們也許會把它稱作“2024年的真空管”。真空管現在看起來很古老了，但卻是開啟計算機時代的第一項技術。Transformer也一樣，我相信，它是開啟大語言模型時代的第一項技術，但不是最后一項，也不是最好的，更不是最安全可靠的。
我們最近有篇關于KANs架構的論文。和傳統神經網絡架構MLP不同,KANs將權重（weight）從節點移到邊緣，能以更少的參數獲得更高的精度，性能大大優于MLP。我只是舉個例子說明我們今天的技術并不是最好或最終的，一切都在革新。所以什么才配得上“明日技術”這幾個字呢？我認為它不僅要比今天的AI更強，還要更好懂、更安全、更容易管理。
現在對人工智能的管理大多還停留在“破解”的階段上，也就是“發現bug，解決bug”的思路，在測試中誘導大語言模型說些“壞話”什么的，然后修復導致出錯的漏洞。但就像我在前面提到過的，這種方式只適用于低技術階段，因為它充其量只能證明問題存在，而永遠無法證明問題不存在。如果你想證明問題不存在，證明強大的人工智能很安全，那么你可能需要另外一種防護欄。而我們所能擁有的最強大防護欄，不是別的，正是數學證明。
舉個例子。假設你研究數學，喜歡數學，有人告訴你“任何兩個立方數相加，不會等于第三個立方數”——他說得對嗎？你試著用3³加4³，嗯，它們的和不是立方數……你試了10次，沒發現反例，于是下結論“他說得對”。不，這不是數學證明，無法證明“他說得對”，而只證明了你沒發現反例。
當然，這個說法是對的，因為有人證明了：在無窮的整數里，沒有一個立方數是另外兩個立方數之和，這就是“費馬最后定理”。
在人工智能和計算機科學領域，形式驗證（formal verification）同樣是個大課題，也就是對軟件進行嚴格的數學證明，證明它在任何輸入情況下都能按指令行事。可證明安全的人工智能——這是很高的安全標準。
目前相關領域的進展比較慢，因為工作量太大，而且多半得靠人來完成。不過，我很樂觀，用不了多久大語言模型和AI就能解決這個問題。人工智能已經徹底改變了藝術創作和語言處理，通過編寫代碼，它也將徹底改變程序綜合（program synthesis）。這樣一來，形式驗證的許多工作就可以由AI自動完成，我們證明代碼安全性的能力也會隨之突破。
以下是我對可證明安全的人工智能的設想。舉個例子，假設你經營著一家大型金融企業，你要用AI工具來做一些高風險交易。你肯定不想出錯，因為這會讓客戶血本無歸。于是，你把這個AI需要遵守的規范都寫下來，交給一個強大的人工智能系統，讓它幫你編寫所需的工具，并出具相關安全證明。這些證明能夠通過證明檢查器的自動檢驗，表明所生成的代碼滿足安全規范。
你可能會說：“我怎么能相信這個工具呢？我壓根不知道人工智能是怎樣工作的。這個工具的代碼行數太多，我讀不過來，而且證明太長，我也讀不過來”。沒關系，你不需要懂人工智能，也不用看它編寫的工具或證明代碼，你只要知道證明檢查器是怎么回事就行了——其實就是一個只有 300 行左右代碼的軟件，它能嚴格檢查和驗證證明是否有效。
證明檢查器可以安裝在你的筆記本電腦上，飛快地運行。只要安全證明通過驗證，你就可以放心使用你的AI工具了，這個復雜、強大的財務軟件系統會完全遵照你的要求工作——不是多數時候，而是一直永遠，因為這套軟件經過嚴格的數學證明，沒有bug，沒有安全漏洞，只要宇宙不崩壞，它就是可靠的。
如果出于某種原因，你的人工智能系統寫的工具軟件不夠好，那你還有另外一個辦法：讓傳統的人工智能系統、大語言模型之類的去學習算法。比如，我們現在用 Python或者 C++ 寫的翻譯軟件都遠遠不如Transformer寫的好用。所以你得讓機器去學習，然后再用一個類似于神經科學家的AI軟件去捕捉學習到的算法和數據，并轉化為 Python或者 C++ 代碼，最后進行形式驗證。這就是所謂的”機械可解釋性”（mechanistic interpretability）。這是人工智能的一個小眾領域，去年我在MIT組織了這個領域的最大型會議，但其實也沒幾個人參加。不過，這方面的技術發展得很快，在座感興趣的都可以加入進來。
舉個非常簡單的例子。我們小時候學加法，有時老師會讓我們用豎式做循環進位加法，從個位起傳遞進位?，F在我們讓神經網絡系統去學加法，給它一堆數據，當然是用二進制來做。不一會兒，它的準確率就達到了100%。這時，我們知道這個神經網絡里已經有了一個數字相加的算法。接下來的問題是，在這個訓練出來的黑盒模型里，怎樣把這個算法“取出來”？我們用另外一個AI工具到神經網絡里去找，再把找到的算法轉化成我們需要的Python版本。 這里可以看到這個Python程序也有循環，就像我們小時候學的多位數加法，從低到高計算和進位。顯然這段生成的Python程序，比原始訓練出的神經網絡，效率好得多。然后我們對這段Python代碼進行形式驗證，證明它能正確地將任何數字相加——不僅是訓練數據中的數字，而是任意數字、任意多數字，我們可以信任它。
當然，我這里討論的是一個非常宏大的目標——可證明安全的人工智能或定量安全的人工智能。要實現全部目標，我們有漫長的路要走。重要的是記住，我們的征程會很精彩，即便只是在初始階段。比如你能取得形式證明，證明任何人不經過認證都沒法登錄你的筆記本電腦，不香嗎？這樣你永遠都不用擔心被黑了。
還有，不管多么強大的AI，只要你想，就可以隨時關閉它，或者可以讓它只運行一定的時間；如果它只能在上海的某個數據中心使用，那么當你或其他人把它帶到其他地方，它就會停止工作。那不是很爽嗎？
這些我們都能做到。我對此感到興奮，也渴望合作。
結語
最后，總結一下。我今天主要談了技術——人工智能的技術變得越來越強大，但我們也有很多安全技術可以把它管好，確保AI為我們工作，而不是與我們作對。
前面的發言者談到了國家政策和良好治理的重要性。我想強調的是，如何引導管好人工智能，是一個全球性的挑戰，因為未來非常強大的人工智能所帶來的風險當然是全人類共同面臨的。無論如何，技術都不會止步于國界，因此它所帶來的挑戰也不是任何國家可以獨力應對的。
如果我們做對了，世界會因人工智能而更美好；但如果我們搞砸了，整個世界都會一團糟。在政策方面，我認為我們應該做的和不應該做的都是顯而易見的。
無為而治是不可能的。你不能說：“行吧，每個人都有權利用AI盡可能快地制造出他們想要的東西。只要在超級智能出現前，有人能及時找到控制這些東西的辦法就行了。”
我們必須像對待其他強大技術那樣去對待人工智能，簡單說，我們需要安全驗證機制。比如在中國，如果有人想推出一種很好的新藥，那么他首先要獲得國家藥品管理部門的批準，而不是直接在淘寶上賣。有了這樣的藥品安全機制，醫藥公司在研發新藥的同時，也會把足夠的資源投入臨床檢測，以證明新產品足夠安全，給患者帶來的好處大于副作用。再比如，如果你想兜售一款新型飛機，那么你肯定得先把定量風險分析做好，否則民航局是不會放行的。
對于人工智能，我們也應該采取同樣的做法。首先我們要有統一明確的安全標準，對于相對初級和無害的AI，比如今天多數的大語言模型，安全標準可以很低，但對于功能逐漸強大、可能造成更大損害甚至失控的AI系統，我們的安全標準也要逐級提高。
標準確立之后，市場會完成剩下的工作。誰先達到安全標準，誰就先占領AI市場，富可敵國。這樣一來，AI公司就不僅有動力制造更聰明的機器，還會盡可能快地確保它們達到安全標準。