正當(dāng)人們爭論摩爾定律在 2020 年代是否會放緩、是否仍然適用、甚至已死的時(shí)候,英偉達(dá)發(fā)文宣布了黃氏定律(Huang's Law)。
據(jù)英偉達(dá)一篇最新博客稱,在過去十年中,英偉達(dá) GPU 人工智能處理能力增長了 1000 倍。黃氏定律意味著在單芯片推理性能中看到的加速不會逐漸消失,而是會繼續(xù)出現(xiàn)。
文中表示,英偉達(dá)首席科學(xué)家 Bill Dally 所描述的后摩爾定律時(shí)代計(jì)算機(jī)性能如何實(shí)現(xiàn)的結(jié)構(gòu)性轉(zhuǎn)變主要基于人類的聰明才智。這一特征似乎難以建立一條定律,但 Dally 認(rèn)為,下面的圖表標(biāo)志著黃氏定律的開始。
IT之家查詢發(fā)現(xiàn),黃氏定律并非英偉達(dá)自己的首創(chuàng)說法。IEEE Spectrum 第一個(gè)提出以黃仁勛命名定律,黃氏定律后來因《華爾街日報(bào)》的一篇專欄而廣為人知。
根據(jù) Dally 最近在 Hot Chips 2023 會議上的演講,上圖顯示過去十年 GPU AI 推理性能增長了 1000 倍。Dally 表示,有趣的是,與摩爾定律不同,工藝縮小對黃氏定律的進(jìn)展幾乎沒有影響。
Dally 回憶起如何通過改變英偉達(dá) GPU 底層數(shù)字處理來實(shí)現(xiàn) 16 倍的增長。使用 Transformer 引擎的 Nvidia Hopper 架構(gòu)的到來帶來了另一個(gè)巨大的推動。據(jù)稱,Hopper 使用 8 位和 16 位浮點(diǎn)與整數(shù)數(shù)學(xué)的動態(tài)組合,實(shí)現(xiàn)了 12.5 倍的性能飛躍,并且節(jié)省了能源。
Dally 還稱,盡管摩爾定律的收益不斷減少,但他相信黃氏定律仍將繼續(xù)存在。