隨著ChatGPT登臺亮相，從科技從業者，到投資圈，再到普羅大眾，越來越多人再次關注到了“過氣”的AI，及其所能帶來的價值和改變。

商業界也的確源源不斷貢獻著更多新的素材：OpenAI和微軟的聯姻讓性能提升、成本降低成為可能；Google、Meta窮追不舍更新動作；國內，百度、字節、騰訊等大廠，以及眾多創業公司，都開始從自己擅長的角度切入競爭……

為了幫助讀者能夠持續關注由ChatGPT引發的科技圈海嘯，36氪推出「Chat AI」欄目，從中立的第三方視角，探索、分析每一次熱點背后的商業觀點。

(資料圖片僅供參考)

作者 | 沈筱、王與桐

不久前，OpenAI開放的ChatGPT模型API已經以顯著的成本優勢驚艷了眾人。

而OpenAI的胃口已經越來越大。今天凌晨，OpenAI以Twitter和YouTube為宣傳渠道，公布了又一個重磅消息如約而至——GPT-4上線。

Youtube觀看量已經突破110萬

目前，ChatGPT PLUS用戶已經能夠提前嘗鮮；同時，GPT-4的模型API也已對部分開發者開放。

OpenAI將在2023年發布GPT-4的籌謀早已是公開的秘密，但塵埃落定后，一些答案浮出水面，一些答案卻“點到為止”。

多模態、圖像處理、真實性等等特點，是GPT4公開的答案；而關于數據集規模、參數規模等，OpenAI卻并沒有回復此前大家的猜想。

行能提升的背后，也是商業競爭的進一步白熱化。

01What differences make GPT-4 different

GPT-4究竟有何不同？總的來看，模型在圖像理解、文本處理、安全性和事實性提升等方面實現了多點開花。

正如3月9日微軟德國 CTO Andreas Braun對外宣稱的，GPT-4是一個多模態模型。

盡管GPT-4沒有和人們預料的一樣，可以支持視頻、音頻等輸入方式，但是，支持圖像輸入已經成為板上釘釘的事實。也就是說，GPT-4附帶了圖像理解能力，可以對圖像內容作出說明、進行分類和分析。但目前，OpenAI還在和合作伙伴「Be My Eyes」共同測試該能力，因此尚未對OpenAI所有客戶開放。

除了這一“理所當然”的變化，GPT-4在文本處理方面的能力又有了較大提升。一方面，GPT-4能夠處理的文本長度增加了；另一方面，GPT-4的文本記憶能力增加了。

據介紹，GPT-4可以處理超過 25,000 個單詞的文本，這一數字約為ChatGPT的8倍。這也意味著GPT-4可以執行的任務場景得以拓展——可以支持格式內容創建、擴展對話以及文檔搜索和分析等。

同時，GPT-4 支持的最大token數量為 32,768，相當于64,000個單詞或 50 頁文字。相比之下，GPT-3.5 和上一版ChatGPT 的token限制為4,096 個，大約 8,000個單詞。因此，在對話時，GPT-4能夠記住更多的聊天內容，降低重復回答或者“神游”的可能性；在生成長文時，連續性也會更強。

就上述兩個改進而言，有業內人士分析，其究竟能夠在應用層產生多大的威力，需分情況討論。據悉，圖像理解能力的提升，從理論上來講，是比較大的突破。但其是否能夠在各類場景中得到廣泛應用，還取決于不同場景下的具體業務邏輯。需要對業務進行拆解后，進一步甄別是否具有多模態理解的需求，以及如何接入這樣的能力。相比之下，文本處理能力的提升可能會在應用層被更迅速地采納。

雖然GPT-4的上述改進在應用層能掀起何種波瀾仍未可知，但能夠確定的是，要想實現這樣的能力提升，GPT-4無論是在模型架構、模型訓練，還是迭代優化路徑等各方面都會有一定的突破。

遺憾的是，由于本次OpenAI未在技術報告中透露有關模型參數、硬件、訓練方法和訓練數據量等細節，我們還無從得知，這些突破可能是什么。目前的已知努力是，OpenAI為了訓練GPT-4，在過去兩年里聯合微軟在Azure云上重新搭建了一個專用的超算平臺。

此外，在技術層面，OpenAI其實也公布了一些看似不那么重要，卻是保障AI未來可以得到人類正確使用的關鍵突破。

例如，OpenAI構建了可預測擴展（predictable scaling）的深度學習堆棧，支持使用更少的計算量來評估模型訓練性能，例如預測訓練期間優化的指標（損失）。OpenAI表示，通過從使用相同方法訓練，但使用萬分之一的計算量對模型訓練性能進行了推斷，準確預測了 GPT-4 在其內部代碼庫上的最終損失。

OpenAI將這一突破更多地聚焦于“安全性”——“我們認為，準確預測未來的機器學習能力是安全的重要組成部分，但相對于其潛在的影響，它并沒有得到足夠的關注(盡管我們受到了幾家機構的鼓勵)。我們正在加大努力開發方法，為社會提供更好的指導，了解未來系統的期望，我們希望這成為該領域的共同目標。”

然而值得一提的是，有業內人士告訴36氪，這其實也意味著模型訓練正朝著更加科學、結果可預測的方向前進，將有望減少不必要的資源浪費。比如，如果預測訓練性能不好，或許就沒必要使用更多的數據進行訓練了。但同時，該人士也指出，還需要關注實現這個功能的技術路徑，即對如何實現預測的詳細解釋。如果實現這樣的預測工程難度較大，說明其可能不具有普適性。

另外，在安全性提升方面，OpenAI還做了另一件事：花費了6個月的時間對模型進行了針對性的迭代優化。當然，迭代后的GPT-4在回答的準確性、事實性、可操作性等多個方面也有了提升。

02 GPT3.5是PreGPT4，所以只要6個月

OpenAI表示，他們已經在2022年8月就完成了模型訓練，但是為了推出GPT4，又進行了6個月的迭代，而迭代主要是針對ChatGPT此前飽受詬病的點，比如事實性不夠、風格難以控制、信息隔離不夠好，等進行了提升：“利用對抗性測試計劃和ChatGPT的經驗教訓，迭代調整GPT-4，在事實性、可操縱性和拒絕走出護欄方面取得了有史以來最好的結果。”

盡管GPT4的整體訓練時長我們不得而知，但模型性能提升主要是得益于模型之前的預訓練過程，因此只花了6個月的時間。

在官網上，OpenAI迭代調整的提升比例，比如事實性這個功能里，“在我們的內部對抗性事實評估中，GPT-4的得分比我們最新的GPT-3.5高40%”；在安全性角度，“與GPT-3.5相比，我們將模型響應不允許內容請求的趨勢降低了82%，GPT-4根據我們的政策響應敏感請求（例如醫療建議和自我傷害）的頻率增加了29%”。

40%、82%、29%，這些數字背后，迭代調整的時間僅有6個月。

作為OpenAI設計的一系列模型中的第五個，此前此前還出現了GPT - 1、GPT - 2 、 GPT - 3、GPT-3.5，前三個分別官宣于2018、2019、2020，GPT3已經出現了重大飛躍，參數是上一代的百倍，同時在商業上也表現出穩定性和實用性（比如估值15億美元的JasperAI此前就使用的GPT3）。

此前OpenAI就曾表示，GPT3.5只是一個中間版本，或許叫“PreGPT4”會比“GPT3.5”更貼合，因為GPT3.5在技術路線上與之前有較大差異，是基于人工標注數據+強化學習的推理和生成。正如同ChatGPT最初是以“demo”形態被OpenAI推出，其原因也是為了測試在安全性、真實性等方面的改進空間。

而GPT4的整體訓練，在官網上，OpenAI僅用了幾段話作為簡單描述。抽象來看，主要是從幾個維度進行了加強訓練：

基礎模型訓練：與之前的GPT模型一樣，使用公開數據（如互聯網數據）以及被許可的數據進行訓練。數據語料庫里包括數學問題的正確和不正確的解決方案，弱而強烈的推理，自相矛盾和一致的陳述，并代表了各種各樣的意識形態和想法。 人工反饋強化學習（RLHF）微調模型：GPT-4具有與以前的模型類似的風險，例如產生有害的建議、錯誤代碼或不準確的信息。為了了解風險程度，OpenAI聘請了來自人工智能對齊風險、網絡安全、生物風險、信任和安全以及國際安全等領域的50多名專家來對抗性地測試該模型。GPT-4在RLHF培訓期間納入了額外的安全獎勵信號，通過培訓模型拒絕此類內容的請求來減少有害輸出。為了防止模型拒絕有效請求，OpenAI從各種來源（例如，標記生產數據、人類紅色組合、模型生成的提示）收集不同的數據集，并在允許和不允許的類別上應用安全獎勵信號（具有正值或負值）。 可預測深度學習堆棧：GPT-4項目的一大重點是構建一個可預測的深度學習堆棧。由于GPT4模型更大， 因此如果用以往的方式把模型放在數據里跑一次，時間和計算成本都更高，而GPT4采用了新的方式，只需要用萬分之一的計算量就可以預測出準確率。

GPT4能用萬分之一計算量就可以預測出準確率

OpenAI這次也提供了一個官方的論文來解釋相關的功能和訓練過程，但是關于具體的比如數據集規模、參數規模等都沒有透露。雖然也提供了一個開源工具“Evals”，但這是為了讓更多開發者給GPT4提建議的，而并非共享的。

這并不符合以往OpenAI的作風，也似乎與OpenAI創始人Sam Altman此前說到的OpenAI成立之初的愿景——AGI，讓更多的人使用AI技術，并從中獲利——并不相符。

03諱莫如深的背后

對具體參數和規模緘口不言，背后的原因可以從兩個方向分析：技術角度和商業角度，都要建立壁壘。

在GPT4公布前，不少人判斷GPT4將是百萬億大模型，比此前GPT3.5的千億大模型還要多100倍量級。但同樣也在GPT4公布前，Altman也親自下場辟謠，他表示，GPT-4的參數量不會大很多，但可能會用到更多的計算資源。在此前的分析文章中，36氪也有提到，這可能意味著OpenAI正在尋求其他創新性地提升模型能力的路徑，而非一味求大。

但Altman同時也表示，GPT4模型還是以文本訓練為主。但目前來看，GPT4并不是僅僅以本文為主，已經能夠支持圖片、視頻等多種交互方式。這從側面或許證明，Altman的“辟謠”或許并不是真的“辟謠”，外界的猜測，有可能是真的——的確在規模上有了更大、更令人難以想象的突破。

不少人猜測，雖然并沒有達到百萬級別，但會落在 1 萬億或 10 萬億參數范圍內。相關分析指出，在這樣的情況下，模型可能會受益于稀疏網絡（sparse networks）的使用，以獲得更好的模型擴展性。也就是說，OpenAI或將以往密集網絡（densenetworks）方法改為稀疏網絡，并開發新的訓練算法。同時，使用稀疏網絡也可能導致模型架構的變化—— GPT-4 或許具有神經形態架構，即類似于人腦，可以根據需要適時激活特定部分的任務執行區域。

在技術壁壘的不斷加深的背后，OpenAI此次對參數和技術細節緘口不言、諱莫如深的態度，或許來源于他們不想再被“抄”下去了，也要進一步在商業上建立自己的壁壘。技術細節披露越多，能夠與OpenAI比拼的角度就會更多。

不過，也有從業者認為，OpenAI或許是出于安全負責的考慮，才沒有披露具體細節，后續可能會公布。

但無論從什么角度考慮，壁壘的建立都是箭在弦上。畢竟，以Google、Meta為代表的大廠已經虎視眈眈許久，并且炮火聲在最近越來越響：

今天，在GPT4推出之后，Google開放自家的大語言模型 API 「PaLM API」，此外還發布了一款幫助開發者快速構建 AI 程序的工具 MakerSuite。

Google開放其API接口

3月，Google推出PaLM-E，其擁有5620億參數，是GPT-3的三倍多，號稱史上最大規模視覺語言模型。 2月底，Meta突然公布了一款全新的AI大型語言模型LLaMA，宣稱可幫助研究人員降低生成式AI工具可能帶來的“偏見、有毒評論、產生錯誤信息的可能性”等問題。并且僅用約1/10的參數規模，實現了匹敵OpenAI GPT-3、DeepMind Chinchilla、谷歌PaLM等主流大模型的性能表現。 此前，百度高調官宣會在3月16日上線文心一言。

開放API接口、用更低的參數、用更高的參數……參與者們都在尋找更適合的角度，想要與OpenAI及其“爸爸”微軟，正面競爭。

或許這也是OpenAI著急將GPT4推出的重要原因——你們還在圍繞我的3.5比拼，而我已經跳到下一階段了。這無疑能夠幫助OpenAI依舊當仁不讓成為“AI引領者”。

當下，由ChatGPT引發的系列討論熱度在持續升高，其中比較主流的討論，集中在成本和模型規模兩個維度。

一方面，在3月初，OpenAI以每1000個tokens0.002美元的價格開放了API接口，是原本價格的十分之一。如此低廉的價格，或許會將吸引絕大多數應用層伙伴，OpenAI得以建立自己的生態。而生態不僅是未來商業變現的根據地，更是反復強化訓練的數據來源，因此，當GPT系列成本足夠低時，將擠占其他互聯網大廠的生態。

對于全球所有模型層的公司來說，都在思考還要不要繼續做、怎么做才能讓自己成本更低；對于所有應用層的公司來說，都希望可以以如此低的接入成本，成為不同領域的“Jaseper”。

另一方面，到底需不需要如此大的模型，也成為業內討論的話題之一。不少人認為，如果能夠實現相同的效果，用更大的模型訓練就是浪費資源。

但此刻看來，必要不充分條件依舊成立：雖然模型不是越大越好，但是更好地效果實現，還是必須得有更大的模型。

此刻，OpenAI的GPT4再次甩開了自以為能夠與其競爭的“競爭者們”。未來，OpenAI一定會以更低的價格繼續開放更好的模型，那時AI格局或許已經不會再出現變化了。

明天，百度文心一言會上線，36氪也將繼續關注。

相關鏈接：

ChatGPT模型API接口1折開放，全球AI格局巨變進行時 |Chat AI

ChatGPT走紅背后：苦熬五年，三次AI路線迭代｜Chat AI

Chat AI | 最快月活過億，但ChatGPT或終將被開源打敗

ChatGPT背后：一個天才、百億融資和1億月活 | 全球獨角獸

5月，36氪將舉辦“顛覆AIGC”主題峰會

關鍵詞：