首頁>資訊 >
GPT家族進化史 2023-03-17 17:53:51  來源:36氪

傳播學(xué)之父威爾伯·施拉姆曾說過:“這一天的前23個小時,人類傳播史上幾乎全都是空白,一切重大的發(fā)展都集中在這一天的最后7分鐘。正是這最后7分鐘,譜寫了人類歷史的黃金時期,而午夜前的最后3秒?yún)s翻開了人類邁進信息化社會的新篇章。”

這句話用來形容技術(shù)進化也很合適。人類絕大多數(shù)時間都處在“科技大停滯”的狀態(tài),而科技大爆炸來的時候常常是“一句招呼都不打”。近期,人工智能(AI)技術(shù)的發(fā)展,就讓大家切實感受到了科技的“暴力美學(xué)”。


(資料圖片僅供參考)

在ChatGPT出現(xiàn)前,有人悲觀地認(rèn)為,AI領(lǐng)域已經(jīng)形成巨大泡沫。但眼下,AI呈現(xiàn)出全新的價值,讓行業(yè)重現(xiàn)百家爭鳴的熱鬧景象。

3月15日凌晨,OpenAI發(fā)布大型多模式模型GPT-4,GPT-4不僅能夠處理圖像內(nèi)容,且回復(fù)的準(zhǔn)確性亦有所提高,在官方演示中,GPT-4只花了10秒,就識別了手繪網(wǎng)站圖片,并根據(jù)要求實時生成了網(wǎng)頁代碼制作出了幾乎與手繪版一樣的網(wǎng)站,堪稱“王炸級”產(chǎn)品。

圖 | OpenAI

3月16日,提前一個月宣傳造勢,備受關(guān)注的百度文心一言揭開神秘面紗。雖然發(fā)布會一開始,百度股價便出現(xiàn)斷崖式下跌,李彥宏也坦言產(chǎn)品沒有完全準(zhǔn)備好,但這并不影響市場的龐大需求。

發(fā)布會后1小時內(nèi),排隊申請文心一言企業(yè)版API調(diào)用服務(wù)測試的企業(yè)用戶已達(dá)3萬多家,申請產(chǎn)品測試網(wǎng)頁多次被擠爆。

圖 | 百度文心一言

3月17日,在“用AI重塑生產(chǎn)力”活動上,美國科技巨頭微軟宣布為其Microsoft 365應(yīng)用和服務(wù)推出一款新的AI驅(qū)動的產(chǎn)品Copilot,由OpenAI本周發(fā)布的GPT-4提供技術(shù)支持,旨在像助手一樣,用AI幫助用戶生成文檔、表格、電子郵件、PPT等。這意味著,超12億人(微軟官方數(shù)據(jù))將會解放雙手,獲得AI帶來的生產(chǎn)力提升。

對于天天碼字的小編來說,只有一個詞——想擁有!

圖 | 微軟

圖 | 微軟

圖 | 微軟

時至今日,已經(jīng)沒有人會懷疑AI以及大語言模型的重要性了。更大、更快、更強,又意味著什么呢?有人說,ChatGPT的出現(xiàn),終于讓人類的一只腳邁進了元宇宙。

任何指數(shù)增長的曲線初期,拉近了看都不過是一個平淡的緩坡,但只有回顧整個歷史的時候,我們才會知道這條曲線最終會加速到怎樣的高度。

今天我們就來回顧一下GPT家族的進化史,看看它是如何一步步讓全世界科技大廠黯然失色的。

01GPT的升級之路

過去十年間,谷歌、臉書、亞馬遜、蘋果和微軟等科技巨頭紛紛開啟AI軍備競賽,先后成立專門的AI實驗室,而業(yè)界公認(rèn)的頂級AI實驗室只有三家:背靠谷歌的DeepMind、背靠微軟的OpenAI和背靠臉書的FAIR。其中,被谷歌收購的DeepMind因擁有AlphaGo(阿爾法狗)最為家喻戶曉。

圖 | AlphaGo戰(zhàn)勝圍棋世界冠軍李世石

2015年12月,特斯拉汽車創(chuàng)始人埃隆·馬斯克,格雷格·布羅克曼(OpenAI聯(lián)合創(chuàng)始人兼總裁)、山姆·阿爾特曼(OpenAI首席執(zhí)行官)、彼得泰爾(Paypal創(chuàng)始人)以及伊利亞·蘇特斯科夫(師從神經(jīng)網(wǎng)絡(luò)之父杰弗里·辛頓,OpenAI首席科學(xué)家)等數(shù)位硅谷大佬拿出了10億美元,在舊金山創(chuàng)立了OpenAI Inc.。

圖 | 阿爾特曼和馬斯克

OpenAI Inc.設(shè)立之時就是一家非盈利組織,他的目標(biāo)就是研發(fā)通用且開放的的人工智能來對抗谷歌的DeepMind“霸權(quán)”。

2016年,微軟Azure云服務(wù)為OpenAI提供了算力條件,使得日后的ChatGPT要進行大規(guī)模深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)渲染等都成為可能。

2017年,Google團隊首次提出基于自我注意力機制的Transformer模型,并將其應(yīng)用于自然語言處理。OpenAI應(yīng)用了這項技術(shù),2018年發(fā)布了最早的一代大型模型GPT-1(GPT是Generative Pre-trained Transformer的簡稱,中文為生成型預(yù)訓(xùn)練變換模型)。

最初的GPT-1,運用幾十億文本檔案的語言資料庫進行訓(xùn)練,模型的參數(shù)量為1.17億個,據(jù)說效果一般;2019年,GPT-2發(fā)布,模型參數(shù)量提高到15億個,效果仍然很一般;可OpenAI堅持“大力出奇跡”的想法,繼續(xù)擴大它的參數(shù)量,得益于更高的數(shù)據(jù)質(zhì)量和更大的數(shù)據(jù)規(guī)模,GPT-2有了驚人的生成能力。

2020年,GPT-3誕生,參數(shù)量達(dá)到了創(chuàng)紀(jì)錄的1750億個,其訓(xùn)練參數(shù)是GPT-2的10倍以上,技術(shù)路線上則去掉了初代GPT的微調(diào)步驟,直接輸入自然語言當(dāng)作指示,給GPT訓(xùn)練讀過文字和句子后可接續(xù)問題的能力,同時包含了更為廣泛的主題。

這一次,結(jié)果終于不同,大家發(fā)現(xiàn)它的對話功能一下子達(dá)到了相當(dāng)高的水平,2022年12月首次公布的ChatGPT(能夠?qū)υ挼腉PT版本)就是在GPT-3基礎(chǔ)上的3.5版本。

02讓人工智能出圈的ChatGPT

ChatGPT之所以受到如此廣泛的關(guān)注和喜愛,是因為它具備了GPT-3所缺乏的關(guān)鍵功能:對話設(shè)計。

對于許多人來說,評估一個人工智能模型的好壞,往往看它是否能夠在一次來回的對話中聽懂使用者的問題,并給出令人滿意的答案。相比于背后的知識量,人們更關(guān)注AI模型的“溝通能力”。

這些模型能夠以比人類快上10倍甚至20倍以上的速度生成文本,并且生成的文本質(zhì)量還不錯,令人印象深刻。

簡單來說,GPT-3的架構(gòu)就是通過喂入大量的范本,學(xué)習(xí)拆解這些模板并重新組合出新的結(jié)果。引擎設(shè)計者所喂入的資料越多,GPT-3獲得的知識就越豐富。例如,OpenAI在GPT-3的預(yù)訓(xùn)練過程中喂入了超過570GB的文本資料。當(dāng)GPT-3獲得足夠豐富的知識庫時,其生成的結(jié)果也變得越來越精確。

使用者只需要將自己的工作通過語意拆分成多個小任務(wù),讓GPT-3分別完成,再將結(jié)果組裝起來,就能像有了10倍超能力的工作者一樣高效地完成工作。

03GPT-4功能強過ChatGPT

能玩梗圖還能做網(wǎng)頁

鑒于ChatGPT給人工智能產(chǎn)業(yè)帶來的變革,市場自然對其升級版GPT-4賦予了諸多想象。

3月15日凌晨,OpenAI正式推出GPT-4,產(chǎn)品具備諸多亮點。據(jù)OpenAI介紹,在平常的聊天過程中,可能感受不到GPT-3.5和GPT-4之間的區(qū)別,但是當(dāng)任務(wù)的復(fù)雜性達(dá)到足夠的閾值時,兩者之間的區(qū)別就顯現(xiàn)出來了。GPT-4比GPT-3.5更可靠、更有創(chuàng)造力,能夠處理更細(xì)微的指令。

相比ChatGPT僅能在文字領(lǐng)域施展特長,GPT-4的一個關(guān)鍵升級就是多模態(tài),也就是支持圖像和文本輸入,擁有強大的識圖能力。值得一提的是,GPT-4已經(jīng)能看懂一些圖梗了,不再僅僅是對話助手。

用戶提問:解釋下圖的笑點是什么,并對圖片中的每部分進行描述。GPT-4的回答如圖所示:

圖 | OpenAI

據(jù)OpenAI介紹,雖然目前GPT-4在現(xiàn)實場景中的能力可能不如人類,但在各種專業(yè)和學(xué)術(shù)考試上都表現(xiàn)出明顯超越人類水平的能力。雖然GPT-4的訓(xùn)練語料庫還停留在2021年9月之前,但對科學(xué)、醫(yī)學(xué)、法律等特定領(lǐng)域進行了知識面的擴充,不僅能在美國統(tǒng)一律師資格考試中取得前列成績,在奧賽、GRE等考試均取得了很高的分?jǐn)?shù),甚至SAT成績(可以理解為美國高考成績)——已經(jīng)超過了90%的考生,跨過哈佛、斯坦福等名校的門檻。

圖 | OpenAI:GPT3.5和4的部分考試成績

據(jù)外媒最新消息,OpenAI總裁格雷格·布羅克曼稱,公司正在測試GPT-4高級版本,是普通GPT-4儲存內(nèi)容能力的5倍。

04成就GPT的股權(quán)新玩法

OpenAI帶來的革新不僅體現(xiàn)在產(chǎn)品和技術(shù)層面,其獨特的股權(quán)投資方式也在很大程度上造就了GPT的成功。

隨著GPT的技術(shù)以指數(shù)級速度增長,其算力的燒錢速度也呈現(xiàn)出指數(shù)級的上升。巧婦難為無米之炊,OpenAI需要不斷地輸血才能保持運轉(zhuǎn),但顯然全世界沒有一個投資者想當(dāng)慈善家,唯一的解決辦法就是對外引進財務(wù)投資。

2019年擔(dān)任OpenAI首席執(zhí)行官的阿爾特曼說:為了成功完成我們的使命,我們需要海量資金,數(shù)額遠(yuǎn)超出我最初的設(shè)想。

為了徹底解決資金問題,OpenAI調(diào)整了結(jié)構(gòu),一分為二:非營利部門(OpenAI Nonprofit)從事開發(fā)技術(shù),營利部門(OpenAI LP)負(fù)責(zé)商業(yè)化,但OpenAI給不同時期進入的投資人設(shè)置了各自的盈利天花板。天花板之上,所有的盈利將屬于非營利部門。

圖:創(chuàng)業(yè)邦

2019年,改制后的OpenAI正式開啟融資之旅。據(jù)創(chuàng)業(yè)邦數(shù)據(jù)顯示,包括最早期投資(比種子輪更早的Pre-種子輪),OpenAI一共進行了8輪融資,涉及9家知名機構(gòu)和企業(yè),融資總金額約110億美元。

圖 | 創(chuàng)業(yè)邦

根據(jù)OpenAI的發(fā)展,簡單概括為以下4個階段:

階段一:2015年OpenAI首席執(zhí)行官阿爾特曼,與埃隆·馬斯克等人宣布出資10億美元,創(chuàng)立了非營利性研究機構(gòu)OpenAI。

階段二:2019年OpenAI的架構(gòu)進行了調(diào)整,調(diào)整后變身為兩家機構(gòu)——營利性機構(gòu)OpenAI LP和最初的非營利機構(gòu)OpenAI, Inc。

目前我們提到OpenAI,通常指的是被稱為OpenAI LP的一家有限合伙企業(yè),在組織形態(tài)上采用的是有限合伙,這是一家盈利公司。

非營利機構(gòu)OpenAI, Inc是其負(fù)責(zé)投資管理的普通合伙人(GP),這是一家在美國特拉華州注冊的有限責(zé)任公司。也就是說,OpenAI LP由OpenAI, Inc控制。

階段三:從2019年開始,微軟與OpenAI建立了戰(zhàn)略合作伙伴關(guān)系,不少于三次投資,共投入130億美元,成為OpenAI最大的有限合伙人。OpenAI LP從成立之初參與投資的VC們,也成為了有限合伙人。

階段四:在OpenAI未來盈利后,與一般企業(yè)通過上市讓投資人獲得回報的做法不同,OpenAI選擇了一種新的股權(quán)投資協(xié)議模式——以投資回報速度代替投資回報水平。

盈利后的OpenAI將分節(jié)奏,逐步回報投資人:

1、優(yōu)先保證OpenAI的首批投資者收回初始資本;

2、微軟投資完成、OpenAI LP首批投資人收回初始投資后,微軟有權(quán)獲得OpenAI LP 75%利潤;

3、微軟收回130億美元投資、從OpenAI LP獲得920億美元利潤后,它分享利潤的比例從75%降到49%;

4、OpenAI LP產(chǎn)生的利潤達(dá)到1500億美元后,微軟和其他風(fēng)險投資者的股份將無償轉(zhuǎn)讓給OpenAI LP的普通合伙人——非營利機構(gòu)OpenAI, Inc。

從以上四個階段可以看出,本質(zhì)上OpenAI是在把公司借給微軟,而借多久,取決于OpenAI賺錢的速度。

直接以投資回報速度代替投資回報水平,這種做法是建立在OpenAI最終回歸公益的愿景必然實現(xiàn)的強烈信念,以及管理團隊能夠駕馭OpenAI走向成功的充分信任基礎(chǔ)上。

在這樣的信念之下,OpenAI吸引了很多頂尖的AI研究人員,承諾絕對有競爭力的薪水和絕對的商業(yè)自由。他們毅然離開原來的科技公司和學(xué)術(shù)機構(gòu),加入OpenAI,希望專心思考人類的終極問題。

當(dāng)然,OpenAI LP的股權(quán)結(jié)構(gòu)尚存在一些不足。相比之下,擁有較好的創(chuàng)始團隊激勵、較好的股權(quán)流動性、無上限的投資回報收益等優(yōu)點的傳統(tǒng)股權(quán)投資體系,在現(xiàn)階段仍然是不可被替代的。

OpenAI LP的新路能否最終通向羅馬,尚需時間的檢驗。

*聲明:本文為MetaPost原創(chuàng),如需轉(zhuǎn)載請聯(lián)系我們。未經(jīng)允許嚴(yán)禁轉(zhuǎn)載,文章版權(quán)及最終解釋權(quán)歸MetaPost所有。

關(guān)鍵詞:

相關(guān)閱讀:
熱點
圖片 圖片