1.2重要的機器學習系統的發展趨勢

通用的機器學習系統

下面的數字報告了在Epoch數據集中包含的所有機器學習系統的趨勢。作為參考，這些系統在整個小節中被稱為重要的機器學習系統。

系統類型

在2022年發布的重要的人工智能機器學習系統中，最常見的系統類別是語言（圖1.2.1）。2022年發布了23個重要的人工智能語言系統，大約是第二常見的系統類型——多模態系統的6倍。

2022年按領域劃分的重要機器學習系統的數量

（資料來源： Epoch，2022年|圖表： 2023年人工智能指數報告）

圖1.2.1

行業分析

在工業界、學術界或非營利組織中，哪個部門發布了最多的重要的機器學習系統？直到2014年，大多數機器學習系統都是由學術界發布的。從那時起，行業就接管了公司（圖1.2.2）。2022年，有32個重要的工業機器學習系統，而學術界生產的只有3個。生產最先進的人工智能系統越來越需要大量的數據、計算能力和資金；與非營利組織和學術界相比，行業參與者擁有更多的資源。

2002-22年重要機器學習系統的數量

（資料來源： Epoch，2022年|圖表： 2023年人工智能指數報告）

圖1.2.2

國家關系

為了描繪一幅人工智能不斷發展的地緣政治圖景，人工智能指數研究團隊確定了為Epoch數據集中每個重要機器學習系統的開發做出貢獻的作者的國籍。

系統

圖1.2.3顯示了來自特定國家的研究人員的重要機器學習系統的總數。一名研究人員被認為屬于其機構的總部國家，例如大學或人工智能研究公司。2022年，美國生產了最多的重要機器學習系統，有16個，其次是英國(8)和中國(3)。此外，自2002年以來，就所生產的重要機器學習系統的總數而言，美國已經超過了英國、歐盟以及中國（圖1.2.4）。圖1.2.5顯示了自2002年以來各國為全世界生產的重要機器學習系統的總數。

2022年按國家劃分的重要機器學習系統的數量

（資料來源： Epoch和AI指數，2022年|圖表： 2023年AI指數報告）

圖1.2.3

2002-2022按選擇的地理區域劃分的重要機器學習系統的數量

（資料來源： Epoch和AI指數，2022年|圖表： 2023年AI指數報告）

圖1.2.4

2002-22年按國家劃分的機器學習系統數量（總和）

（資料來源： Epoch和AI指數，2022年|圖表： 2023年AI指數報告）

圖1.2.5

歸屬

圖1.2.6到1.2.8查看按國家歸屬關系分類的幫助啟動重要機器學習系統的作者總數。就像總系統的情況一樣，在2022年，美國生產重要機器學習系統的作者數量最多，有285個，是英國的兩倍多，是中國的近6倍（圖1.2.6）。

2022年，按國家劃分的重要機器學習系統的作者數量

圖1.2.6

2002-22年按選擇的地理區域劃分的重要機器學習系統的作者數量

圖1.2.7

2002-22年按國家劃分的機器學習系統作者數量（總和）

圖1.2.8

參數趨勢

參數是由機器學習模型在訓練過程中學習到的數值。機器學習模型中的參數值決定了模型如何解釋輸入數據并做出預測。調整參數是確保機器學習系統的性能得到優化的一個必要步驟。圖1.2.9按部門突出顯示了Epoch數據集中包含的機器學習系統的參數數量。隨著時間的推移，參數的數量一直在穩步增加，自2010年代初以來，這個增長尤為急劇。人工智能系統正在迅速增加其參數的事實反映了它們被要求執行的任務的復雜性增加，數據的可用性增加，底層硬件的進步，最重要的是，更大的模型的性能演示。

1950-22年按部門劃分的重要機器學習系統的參數數量

圖1.2.9

圖1.2.10按領域展示了機器學習系統的參數。近年來，參數豐富的系統數量不斷增加。

1950-22年重要的機器學習系統按領域劃分的參數數

圖1.2.10

計算趨勢

人工智能系統的計算能力，或稱“計算能力”，是指訓練和運行機器學習系統所需的計算資源量。通常，一個系統越復雜，所訓練它的數據集越大，所需的計算量就越大。在過去的五年里，重要的人工智能機器學習系統使用的計算量呈指數級增長（圖1.2.11）。對人工智能計算需求的增長有幾個重要的影響。例如，更密集型計算的模型往往對環境的影響更大，而工業參與者往往比大學等其他模型更容易獲得計算資源。

1950-22年重要機器學習系統的分部門訓練計算（FLOP）

圖1.2.11

自2010年以來，在所有的機器學習系統中，語言模型需要的計算資源越來越多。

1950-22年重要機器學習系統的分域訓練計算（FLOP）

圖1.2.12

大型語言和多模態模型

大型語言和多模態模型，有時被稱為基礎模型，是一種新興的、日益流行的人工智能模型，它對大量數據進行訓練，并適應各種下游應用程序。像ChatGPT、DALL-E 2和MakeA-Video這樣的大型語言和多模態模型-Video模型已經展示了令人印象深刻的能力，并開始在現實世界中廣泛應用。今年，人工智能指數對負責發布新的大型語言和多模態模型的作者的國家隸屬關系進行了分析。10這些研究人員中的大多數來自美國的研究機構（54.2%）（圖1.2.13）。2022年，來自加拿大、德國和印度的研究人員首次為大型語言和多模式模型的發展做出了貢獻。

2019-22年按國家選擇大型語言和多模態模型（占總數的%）的作者

圖1.2.13

圖1.2.14提供了自GPT-2以來發布的大型語言和多模態模型的時間軸視圖，以及產生這些模型的研究人員的國家附屬機構。2022年發布的一些著名的美國大型語言和多模態模型包括OpenAI的DALL-E 2和谷歌的PaLM（540B）。2022年發布的唯一一種中國大型語言和多模式模式是GLM-130B，這是清華大學的研究人員創建的一種令人印象深刻的雙語（英語和中文）模式。同樣于2022年底推出的布魯姆計劃，由于它是1000多名國際研究人員合作的結果，因此被列為不確定計劃。

選擇大型語言和多語言模式模型發布的時間軸和國家歸屬

圖1.2.14

參數計數

隨著時間的推移，新發布的大型語言和多模態模型的參數數量大幅增加。例如，GPT-2是2019年發布的第一個大型語言和多模式模型，它只有15億個參數。由谷歌于2022年推出的PaLM擁有5400億美元，是GPT-2的近360倍。在大型語言和多模態模型中，參數的中位數隨著時間的推移呈指數級增長（圖1.2.15）。

2019-22年選擇大型語言和多模態模型的參數數

圖1.2.15

培訓計算

大型語言和多模態模型的訓練計算量也在穩步增加（圖1.2.16）。用于訓練Minerva（540B）的計算量大約是OpenAI的GPT-3（2022年6月發布）的9倍，是GPT-2（2019年2月發布）的1839倍。Minerva是谷歌于2022年6月發布的一個大型語言和多模模型，在定量推理問題上表現出了令人印象深刻的能力。

2019-22年選擇大型語言和多模態模型的訓練計算（FLOP）

圖1.2.16

訓練費用

圍繞大型語言和多模態模型的話語的一個特殊主題與它們的假設成本有關。盡管人工智能公司很少公開談論訓練成本，但人們普遍猜測，這些模型的訓練成本為數百萬美元，而且隨著規模的擴大，成本將變得越來越昂貴。本小節介紹了一種新的分析，其中人工智能索引研究團隊對各種大型語言和多模態模型的訓練成本進行了估計（圖1.2.17）。這些估計是基于模型的作者所披露的硬件和訓練時間。在沒有透露訓練時間的情況下，我們根據硬件速度、訓練計算和硬件利用率效率進行計算。考慮到估計值的可能可變性，我們用中、高或低的標簽來限定每個估計值：中估計值被認為是中級估計值，高被認為是高估估計值，低被認為是低估估計值。在某些情況下，沒有足夠的數據來估計特定的大型語言和多模態模型的訓練成本，因此這些模型在我們的分析中被省略了。

選擇大型語言和多模態模型的估計訓練成本

圖1.2.17

大型語言和多模態模型的成本與其規模之間也有明顯的關系。如圖1.2.18和1.2.19所示，具有更多參數的大型語言和多模態模型以及使用大量計算的訓練往往更昂貴。

選擇大型語言和多模態模型的估計訓練成本和參數數

圖1.2.18

選擇大型語言和多模態模型的估計訓練成本及訓練計算（FLOP）

圖1.2.19

人工智能會議是研究人員分享其工作、與同行和合作者建立聯系的關鍵場所。出席會議表明了人們對一個科學領域的更廣泛的工業和學術興趣。在過去的20年里，人工智能會議的規模、數量和聲望都有所增長。本節介紹了參加主要人工智能會議的趨勢數據。