達(dá)沃斯上Sam Altman參加了4-5場(chǎng)訪談（我竟然全部聽完了...），大家低估了其中的信息量，可能遠(yuǎn)比小扎說的60萬張卡更重要。
摘出了Sam對(duì)GPT-5的評(píng)論，其實(shí)拼圖已經(jīng)很清晰
-
目前的GPT-4有太多缺點(diǎn)，比我們今年將擁有的版本要差很多（much worse），比我們明年將擁有的差得更多。
-
假如GPT-4目前只能解決人類任務(wù)的10%，GPT-5應(yīng)該是15%或者20%。
-
最重要的不是它解決的具體問題，而是廣泛意義的通用性在增加。
-
更強(qiáng)大的模型、如何用好現(xiàn)有模型，是兩個(gè)乘法因子，但顯然更強(qiáng)大的模型更重要。
-
對(duì)特定數(shù)據(jù)的訪問、使AI更貼近實(shí)際工作，今年將在這些方面取得很大進(jìn)展。人們目前抱怨的各種問題比如速度太慢、不是實(shí)時(shí)的，這將在今年變得更好。在更長(zhǎng)、更復(fù)雜的問題上的表現(xiàn)更精確、做更多的事情，這方面能力也會(huì)提高。
-
我認(rèn)為AI最重要的一點(diǎn)是極大加速科學(xué)發(fā)現(xiàn)的速度，使新的科學(xué)發(fā)現(xiàn)越來越自動(dòng)化。當(dāng)然這不是一個(gè)短期內(nèi)的事情，但一旦發(fā)生，這是一件很大的事情”
-
隨著模型變得更智能、更善于推理，我們需要的訓(xùn)練數(shù)據(jù)更少。就比如沒人需要讀完2000本生物學(xué)教材，你只需要一小部分超高質(zhì)量的數(shù)據(jù)，并深入思考和咀嚼，模型會(huì)更加努力地思考一小部分已知的高質(zhì)量數(shù)據(jù)。
-
對(duì)大規(guī)模AI準(zhǔn)備的算力基礎(chǔ)設(shè)施還不夠。
-
GPT-4最好被視為一種預(yù)覽（preview），局限性很明顯。人類天生對(duì)于指數(shù)增長(zhǎng)的直覺并不好，如果GPT-5相較于GPT-4有如GPT-4相較于GPT-3那樣的顯著改進(jìn)，以及GPT-6相對(duì)于GPT-5還是這樣，那將意味著什么？如果我們一直在這條軌跡線上，將意味著什么？
-
隨著AI變得更強(qiáng)大，甚至可能發(fā)現(xiàn)新的科學(xué)知識(shí)，甚至自動(dòng)做AI研究，世界的發(fā)展節(jié)奏會(huì)超出我們的想象。我經(jīng)常對(duì)人們說，沒有人知道接下來會(huì)發(fā)生什么，保持謙卑看未來非常重要，你可以預(yù)測(cè)幾步，但不要做太多預(yù)測(cè)。
-
當(dāng)認(rèn)知成本降低一千倍或一百萬倍，且能力得到極大增強(qiáng)時(shí)，這將對(duì)世界產(chǎn)生何種影響？如果世界上人人都擁有一家，由1萬個(gè)能力極強(qiáng)的虛擬AI員工、且是各個(gè)領(lǐng)域?qū)＜?，組成的公司，他們不知疲倦，還越來越聰明，這個(gè)世界會(huì)怎樣？這件事發(fā)生的時(shí)間無法預(yù)測(cè)，但會(huì)一直在一條指數(shù)增長(zhǎng)的線上，我們能有多少時(shí)間做準(zhǔn)備？
-
我認(rèn)為智能手機(jī)不會(huì)消失，正如智能手機(jī)沒有取代PC一樣。但另一方面，我覺得AI不只是手機(jī)一樣的簡(jiǎn)單計(jì)算設(shè)備+一堆軟件，我覺得可能會(huì)是一個(gè)具有更大意義的東西。
我自己聽完的感受是，適當(dāng)控制短期預(yù)期，但要上調(diào)長(zhǎng)期預(yù)期。但一個(gè)最核心的假設(shè)是，“指數(shù)增長(zhǎng)”的范式是否成立，sam他們對(duì)于未來繼續(xù)處于“指數(shù)增長(zhǎng)”的信念來自于哪兒。因?yàn)橥罅苏f，人類社會(huì)以前不存在可以一直指數(shù)增長(zhǎng)的玩意兒，更沒見過一個(gè)行業(yè)才剛開始領(lǐng)軍企業(yè)已經(jīng)憑著90%份額干到1.4萬億美金。
回溯互聯(lián)網(wǎng)、智能機(jī)、電動(dòng)化等等，界定我們現(xiàn)在處于什么階段就顯得非常重要。因?yàn)槌跗诘木€性外推導(dǎo)致踏空，尾巴的線性外推導(dǎo)致虧錢。
本質(zhì)上是想說，AI和互聯(lián)網(wǎng)最大的區(qū)別是，互聯(lián)網(wǎng)越過0分就具有了實(shí)用價(jià)值，而AI不到60分價(jià)值就是0。因?yàn)榛ヂ?lián)網(wǎng)替代的對(duì)象之前幾乎不存在，或者成本極其高昂（海底光纜之前跨大洲的數(shù)據(jù)通信），很容易就落地。但AI的替代對(duì)象就是人，或者現(xiàn)有軟件，而這些的成本和效率之間的平衡，已經(jīng)被當(dāng)今世界優(yōu)化到了極致。因此AI的價(jià)值拐點(diǎn)，本質(zhì)上是AI越過社會(huì)智力成本的拐點(diǎn)，一旦越過，AI價(jià)值的確是非線性上升。
因?yàn)榇嬖谶@么一種可能性，也是AI與智能機(jī)互聯(lián)網(wǎng)時(shí)代最大的區(qū)別：iPhone到了iPhone4之后的形態(tài)基本固定，此后都是量變，再也沒有大的質(zhì)變（攝像頭、觸控交互、各類傳感器等關(guān)鍵結(jié)構(gòu)固定），目前的AI顯然還沒到iPhone4時(shí)刻，但關(guān)鍵是，AI一旦越過iPhone4時(shí)刻（比如是GPT5或6），質(zhì)變有可能不會(huì)停止，指數(shù)曲線不會(huì)停止，這將是區(qū)別于互聯(lián)網(wǎng)時(shí)代的最大不同。
就相當(dāng)于，當(dāng)年的手機(jī)在iphone4之后還在質(zhì)變，每一代都是大版本迭代，如果歷史是這樣的，互聯(lián)網(wǎng)巨頭們的格局會(huì)如今天這般穩(wěn)定嗎？Apple甚至說芯片廠的價(jià)值量占比會(huì)不會(huì)更高？那么對(duì)于AI來說，“計(jì)算”價(jià)值會(huì)否在很長(zhǎng)一段時(shí)間大于“應(yīng)用”？
回到社會(huì)智力成本拐點(diǎn)的問題，這件事的份量會(huì)有多大？互聯(lián)網(wǎng)只是將物理世界數(shù)字化，并將信息傳播的邊際成本降到0，就產(chǎn)生了每年數(shù)萬億美金的商業(yè)價(jià)值。
如果AI將社會(huì)智力成本降到0，會(huì)是多大價(jià)值？全世界最大的商業(yè)價(jià)值可能就是社會(huì)智力，一旦智力可以0成本批量復(fù)制，會(huì)將巨大的人力資本價(jià)值部分轉(zhuǎn)化為AI資本價(jià)值。
Elon Musk說過“經(jīng)濟(jì)是生產(chǎn)實(shí)體乘以生產(chǎn)力——也就是勞動(dòng)人口乘以人均生產(chǎn)率，假如人口數(shù)可以無限擴(kuò)張，經(jīng)濟(jì)的上限會(huì)在哪兒？”
其次，大多數(shù)商品的成本結(jié)構(gòu)都可以最終向上拆解為人力成本（腦力和體力），當(dāng)被大幅降低，參考“T型車”，成本高昂的商品服務(wù)會(huì)迅速大眾化，例如量身定制的個(gè)人財(cái)務(wù)法律業(yè)務(wù)顧問、人人定制的軟件、人人定制化的內(nèi)容娛樂形態(tài)，催生眾多新興產(chǎn)業(yè)的誕生。
再其次，橋水論文提到，成本降低會(huì)產(chǎn)生社會(huì)財(cái)富剩余，可支配的消費(fèi)潛力增加，會(huì)有新的消費(fèi)類別出現(xiàn)。
最后放飛下想象力，假如有一天實(shí)現(xiàn)了AGI甚至超越人的智能，“高等級(jí)思維”或“天才”不再稀缺，比如馬斯克、喬布斯、jeff hinton/ilya、貝索斯這樣的大腦可以批量復(fù)制（量產(chǎn)愛因斯坦...），就是sam在達(dá)沃斯上說的“每個(gè)人都可以擁有1萬個(gè)聰明大腦服務(wù)你”，這又會(huì)產(chǎn)生什么樣的社會(huì)和商業(yè)形態(tài)？
我想表達(dá)的是：從動(dòng)機(jī)和潛在收益出發(fā)，AGI的分量，會(huì)讓任何一個(gè)理性且有實(shí)力的商業(yè)組織或國家，拼了命地堅(jiān)持下去，因?yàn)闆]人會(huì)放棄“building god”這張巨大彩票或期權(quán)。1847年英國的鐵路投資在達(dá)到頂峰時(shí)占到了GDP的7%；
1996年《電信法案》生效后的五年里電信公司對(duì)光纜、交換機(jī)、無線網(wǎng)絡(luò)的投資超過5000 多億美元（按今天的價(jià)值計(jì)算超過萬億美元）。為什么？面對(duì)充滿未知和無限可能性的生產(chǎn)力革命，一整代人類都會(huì)集體FOMO。而目前英偉達(dá)的收入/全球GDP是多少？0.1%？（不代表可以線性外推NVDA收入，只作為AI總投資是否泡沫的參考指標(biāo)之一）
但回到今天，在到達(dá)拐點(diǎn)之前，現(xiàn)實(shí)情況是，一個(gè)個(gè)行業(yè)先越過及格線再說：
目前的GPT-4的水平，只是到了“解決某一項(xiàng)任務(wù)”的水平，還不能“替代某一項(xiàng)工作”。因?yàn)槿魏我豁?xiàng)人類工作都是非常多“任務(wù)項(xiàng)”組成的，一項(xiàng)任務(wù)的解決無法撐起一個(gè)工種。
但正如上圖所示，人類工作種類是分層的，隨著AI能力一步步爬升，是對(duì)一項(xiàng)項(xiàng)任務(wù)、最終是一個(gè)個(gè)工作類別的持續(xù)替代。AI進(jìn)步慢，替代就慢，AI進(jìn)步快出現(xiàn)躍升（如到了AGI），替代會(huì)猛然加速。這可能就是未來5年的敘事。短期看不到商業(yè)價(jià)值也不代表一直是0和1，人類任務(wù)越過及格線的科目從量變到質(zhì)變，直到AGI那一天捅破象限...
因此比爾蓋茨說的很清楚，18個(gè)月后（2025年6月）會(huì)看到AI對(duì)各領(lǐng)域?qū)嵸|(zhì)性的廣泛滲透。UBS和Morgan Stanley都對(duì)北美500強(qiáng)企業(yè)的CIO（首席信息官或技術(shù)官）做了調(diào)研，結(jié)果也顯示AI對(duì)企業(yè)流程的改造都在POC驗(yàn)證階段，24年H2會(huì)看到更多原型驗(yàn)證跑通、進(jìn)入實(shí)際生產(chǎn)流程，25年才可能大規(guī)模進(jìn)入實(shí)際生產(chǎn)。為什么都是25年？因?yàn)樵诘葍杉虑椋?/section>
1）GPT-5（或者不知道叫什么）的發(fā)布，模型能力上一個(gè)臺(tái)階，解決幻覺問題、魯棒性一致性問題、復(fù)雜推理能力問題；
2）算力成本降低到之前的1/10，目前算力成本按照每12-18個(gè)月除以10的速度降低，18個(gè)月后很多被成本制約的應(yīng)用場(chǎng)景才可以落地。
這里引申出關(guān)鍵的問題還是，1）下一代模型的能力會(huì)如何；2）再之后AI會(huì)否遇到瓶頸“撞墻”。
1） GPT-5（或者其他名字）的能力提升幅度其實(shí)大概已經(jīng)確定，首先肯定距離AGI還很遠(yuǎn)，這一點(diǎn)sam altman在圣誕節(jié)明確表示了，且看完上面你就知道AGI意味著什么分量，你就會(huì)更加敬畏，甚至希望這玩意最好是個(gè)科幻，晚點(diǎn)來。
其次，GPT-5的能力下限，應(yīng)該至少會(huì)比Gemini ultra強(qiáng)，如果只是看紙面結(jié)果，大概能推斷：多模態(tài)且增加視頻生成能力（3D未知）、Long sequence更長(zhǎng)的輸入窗口進(jìn)而顯著提高通用性、復(fù)雜推理能力相比GPT-4明顯提升、可能開始具備較強(qiáng)的planning能力。
再量化一點(diǎn)，就是剛剛sam在達(dá)沃斯上的比喻“假如GPT4完成了人類工作10%，那GPT5應(yīng)該是15%或20%”。此外按照常理，解決相同問題的算力成本，可能會(huì)比GPT-4降低一個(gè)數(shù)量級(jí)。
2） GPT-5之后會(huì)不會(huì)撞墻。GPT-4用了MoE因此引發(fā)了對(duì)OpenAI單模型能力撞墻的質(zhì)疑，但MoE的更大價(jià)值在于降低推理成本，更像是“優(yōu)化”而不是“登月”。
模型的瓶頸 1 ：是transformer架構(gòu)的爭(zhēng)論，的確有微創(chuàng)新的可能，ilya在“事變”之前的采訪中，提到了現(xiàn)有注意力機(jī)制算力消耗過大問題，但他也提到有了解決方向。但你說新架構(gòu)如RWKV、Mamba替代transformer？
引用一個(gè)哥們的觀點(diǎn)，領(lǐng)軍企業(yè)用腳投票了，這是個(gè)生態(tài)、資源、人才自我加強(qiáng)的過程，新的架構(gòu)崛起有點(diǎn)難，至少按照ilya、Anthropic Dario等領(lǐng)軍人物的看法，transformer潛力還有很大挖掘空間。此外，從LSTM到transformer出現(xiàn)是20多年，架構(gòu)的創(chuàng)新節(jié)奏即便加速也是以10年為單位；
模型的瓶頸2：對(duì)世界知識(shí)高質(zhì)量壓縮的數(shù)據(jù)是不是窮盡了。按照scaling law那條曲線，達(dá)到一個(gè)“能寫論文獨(dú)立做科研水平的”的AI需要的數(shù)據(jù)是目前的5個(gè)數(shù)量級(jí)，去哪兒找...視頻等多模態(tài)數(shù)據(jù)的價(jià)值更多在于文本數(shù)據(jù)提供的知識(shí)對(duì)現(xiàn)實(shí)世界的grounding，但視頻圖片等本身對(duì)世界知識(shí)的壓縮率遠(yuǎn)低于文本，正如一本幾百KB的書包含的知識(shí)轉(zhuǎn)化為視頻可能是幾個(gè)T。怎么辦？
按照sam達(dá)沃斯上的說法，未來不需要那么多數(shù)據(jù)，質(zhì)量更重要，數(shù)據(jù)訓(xùn)練效率也在提高（更少數(shù)據(jù)提取更多認(rèn)知），以及可以設(shè)更多epoch反復(fù)“咀嚼”。且之前關(guān)于Q-star的猜測(cè)和Jim Fan、Musk等人的評(píng)論表明，OpenAI很可能已經(jīng)實(shí)現(xiàn)了合成數(shù)據(jù)的有效利用。
甚至Anthropic的Dario在播客中也提過“數(shù)據(jù)很可能不是制約因素，出于多種原因我不應(yīng)該細(xì)說，但世界上有很多數(shù)據(jù)來源，也有很多方法可以生成數(shù)據(jù)”。
這種合成數(shù)據(jù)引導(dǎo)法可以類比人類進(jìn)化，我們靈長(zhǎng)類祖先在掌握語言之前，是無法總結(jié)、提煉、應(yīng)用、累積認(rèn)知和經(jīng)驗(yàn)的，但一旦人類發(fā)展出語言，就會(huì)出現(xiàn)基因/文化的共同進(jìn)化，這與 LLM 的合成數(shù)據(jù)/self-play循環(huán)非常相似。
此外，做個(gè)輕松點(diǎn)的比喻，我們讀了萬卷書，行了萬里路，看了萬千世界，就好比電影《這個(gè)男人來自地球》，一個(gè)人活了百萬年，幾乎是個(gè)行走的世界知識(shí)庫。此時(shí)的他再學(xué)習(xí)一門新知識(shí)，是否需要那么多輸入？我們說“悟性”高的人是一點(diǎn)即通，為什么？因?yàn)檫^去的高質(zhì)量訓(xùn)練讓他建立了世界運(yùn)行原理的底層“相關(guān)性”。這可能也就是目前模型訓(xùn)練正在做的事（難怪OpenAI內(nèi)部說他們?cè)赽uilding god）。
因此，不妨對(duì)scaling law的延續(xù)樂觀一點(diǎn)，這一次我們真的可能在一條指數(shù)線的早期。與摩爾定律一樣，這是個(gè)經(jīng)驗(yàn)性規(guī)律，一定需要嚴(yán)密的理論解釋嗎？Maybe not。直到蒸汽機(jī)發(fā)明一個(gè)世紀(jì)后，人類才對(duì)熱力學(xué)有了全面的了解。
技術(shù)發(fā)展歷史經(jīng)常出現(xiàn)發(fā)明先于理論，或許這一次AI也是如此。就好比，并沒有什么物理定律規(guī)定摩爾定律一定持續(xù)下去，總會(huì)出現(xiàn)一些瓶頸讓人高呼摩爾定律已死，但臺(tái)積電、英特爾、AMD、蘋果這些偉大企業(yè)和領(lǐng)軍人物，憑著產(chǎn)業(yè)、商業(yè)、甚至人性最深層的驅(qū)動(dòng)力，讓這一經(jīng)驗(yàn)定律延續(xù)了幾十年。
因此回到今年的GPT-5，預(yù)期其能力可能也沒那么重要，更重要的是，要持續(xù)觀察我們是否保持在這條trajectory指數(shù)曲線上。
就比如手機(jī)端Agent，假如2024年是雛形，或稱之為手機(jī)agent元年，對(duì)其能力期望可能就不要太高。但隨著前沿模型能力爬升，agent會(huì)逐漸接管個(gè)人生活、工作、應(yīng)用任務(wù)，并反映為agent的訂閱ASP逐年提高。它也不像硬件終端打包價(jià)，也不像會(huì)員費(fèi)，和saas訂閱也不完全一樣，更像你雇了一個(gè)管家，其能力從實(shí)習(xí)生逐漸成長(zhǎng)為CEO，他能為你做的事越來越復(fù)雜，從輔助你完成工作到給你創(chuàng)造增量?jī)r(jià)值，且越來越了解你，粘性越來越強(qiáng)，你付給他的薪水只會(huì)越來越高（當(dāng)然這只是從需求角度，定價(jià)上限取決于供給、稀缺性等等）。
這就有意思了。結(jié)合前文對(duì)比AI和智能機(jī)互聯(lián)網(wǎng)時(shí)代的不同，個(gè)人認(rèn)為，隨著這條指數(shù)曲線向上，底層計(jì)算會(huì)一直處于劇烈變化，也就是“iPhone4”時(shí)刻即便到來了，也只是個(gè)起點(diǎn)，而不是終點(diǎn)，質(zhì)變會(huì)繼續(xù)推進(jìn)。假如底層計(jì)算范式在劇烈變動(dòng)、創(chuàng)新、無法穩(wěn)定，上層的應(yīng)用又怎么能構(gòu)建穩(wěn)定生態(tài)呢？
因此，個(gè)人認(rèn)為，computing&Networking在整個(gè)AI的價(jià)值量占比，會(huì)在相當(dāng)長(zhǎng)一段時(shí)間保持高位，這會(huì)和互聯(lián)網(wǎng)時(shí)代截然不同。當(dāng)然，故事的結(jié)尾，永遠(yuǎn)是“離C端更近的攫取最大價(jià)值”，但走到結(jié)尾穩(wěn)定態(tài)的時(shí)間，可以完全不同。從這個(gè)角度，又該如何看待英偉達(dá)呢？
這又讓我想起最近討論的小話題，你說能把英偉達(dá)從魚頭吃到魚尾的，是對(duì)沖基金，Long Only，自有資金，還是產(chǎn)業(yè)資本？說小點(diǎn)，是半導(dǎo)體分析師，軟件分析師，互聯(lián)網(wǎng)分析師，還是早期VC投資人？（開放話題，沒有答案）
最后，送上今天看的段子，我也轉(zhuǎn)到了朋友圈：
-
高速行駛的鐵路火車是不現(xiàn)實(shí)的，因?yàn)?，乘客?huì)由于車速太快不能呼吸，窒息而死。——Dionysus Lardner博士(1793-1859)，自然哲學(xué)、天文學(xué)教授，倫敦
-
折騰交流電是浪費(fèi)時(shí)間，人們永遠(yuǎn)也不會(huì)使用它。——托馬斯·愛迪生，1889年
-
“馬匹不會(huì)過時(shí)， 而汽車只是流行一時(shí)的新奇事物。”——美國密歇根州儲(chǔ)蓄銀行總裁，1906年
-
全世界所需要的計(jì)算機(jī)大概是……五臺(tái)。——IBM 公司，1943年
-
過了一開始的六個(gè)月，電視就不會(huì)再有任何市場(chǎng)了，人們很快就會(huì)厭倦每天晚上盯著一個(gè)膠合板做的盒子。——二十世紀(jì)?？怂垢吖苓_(dá)里爾·扎納克，1946年
-
人們沒有理由想要在家里擁有一臺(tái)電腦。——數(shù)字設(shè)備公司總裁肯·奧爾森，1977年
-
移動(dòng)電話不會(huì)取代固定電話。——馬蒂·庫珀，1981年
-
我預(yù)測(cè)互聯(lián)網(wǎng)很快將成為壯觀的超新星， 而到1996年就會(huì)遭遇災(zāi)難性的崩潰。——羅伯特·梅特卡夫，1995年
-
不支持3G、造價(jià)高，而且連最起碼的摔落測(cè)試都沒能通過，不太可能對(duì)諾基亞構(gòu)成威脅。——諾基亞工程師對(duì)第一代iphone的評(píng)估報(bào)告，2007年
【聲明】?jī)?nèi)容源于網(wǎng)絡(luò)
