一個人工智能的超級智能會突然出現嗎，還是科學家能預見它的到來并來得及向全世界發出警報？隨著大型語言模型，如ChatGPT的興起，這個問題最近受到了很多關注。這些模型隨著規模的增長已經獲得了大量新功能。

　　一些研究結果指向了“涌現”現象，即人工智能模型以一種驟然且不可預測的方式獲得了智能。但最近一項研究將這種情況稱為“海市蜃樓”，即系統測試過程中產生的假象，并認為創新能力的增強是循序漸進的。

　　研究人員近日在美國新奧爾良舉行的神經信息處理系統大會（NeurIPS）機器學習會議上報告了這項工作。

　　“我認為他們在說‘沒有什么神奇的事情發生’方面做得很好。”謀智基金會研究人工智能審計的計算機科學家Deborah Raji說，這是“一個非常好的、堅實的、基于衡量的評估”。

　　人們通常使用大量文本或其他信息訓練大型語言模型，并通過預測接下來發生什么生成現實的答案。即使沒有受過明確的訓練，它們也能翻譯語言、解決數學問題、寫詩或編寫計算機代碼。

　　模型越大——有些模型的可調參數超過了1000億，性能就越好。一些研究人員懷疑，這些工具最終將實現通用人工智能，從而在大多數任務中與人類匹敵，甚至超過人類。

　　這項新研究從幾個方面檢驗了“涌現”的說法。在一種方法中，研究人員比較了人工智能公司OpenAI的4種規模的GPT-3模型的4位數相加的能力。從絕對精度來看，第三種和第四種模型的性能差異從接近0%到接近100%不等。但如果考慮答案中正確預測的數字數量，這種趨勢就不那么極端了。

　　研究人員還發現，可以通過給模型更多測試問題來抑制曲線。在這種情況下，規模較小的模型有時會作出正確的回答。

　　接下來，研究人員觀察了谷歌公司的LaMDA語言模型在幾個任務中的表現。那些表現出明顯智能躍升的模型，比如在識別諷刺或翻譯諺語方面，通常面對的是答案為對或錯的多項選擇任務。相反，當研究人員檢查模型在每個答案上的概率時，“涌現”的跡象消失了。

　　最后，研究人員轉向了計算機視覺，這一領域“涌現”的說法較少。他們訓練模型壓縮然后重建圖像。僅僅通過為正確性設定一個嚴格的閾值，他們就可以誘導明顯的“涌現”現象。

　　新研究合作者、美國斯坦福大學計算機科學家Sanmi Koyejo表示，考慮到一些系統表現出突然的“相變”，人們接受“涌現”的想法并非沒有道理。他還指出，這項研究不能在大型語言模型中完全排除這種可能性，更不用說在未來的系統中了。

　　“迄今為止的科學研究有力地證明，語言模型的大多數方面確實是可預測的。”Koyejo補充道。

　　這項研究還對人工智能的安全和政策產生了影響。Raji說：“通用人工智能的支持者一直在利用新興能力的說法。毫無根據的恐懼可能導致令人窒息的監管，或者轉移人們對更緊迫風險的注意力。”

　　“這些模型正在改進，且改進是有用的。”Raji說，“但它們還沒有接近意識。”（王方）