【新智元導(dǎo)讀】GPT-5.2打贏Gemini 3.0 Pro,竟是靠高推理與海量Token「作弊」?網(wǎng)友的這個發(fā)現(xiàn),在AI社區(qū)一石激起千層浪。更多網(wǎng)友七嘴八舌表示:GPT-5.2,并沒有那么好用!
一位用戶通過精細(xì)計算發(fā)現(xiàn)了「華點」:OpenAI在最新發(fā)布的基準(zhǔn)測試中,可能通過調(diào)整模型「推理力度」參數(shù),讓GPT-5.2在關(guān)鍵評測中使用了遠(yuǎn)超對手的算力資源。
這就像兩個棋手對弈,一方被允許思考一個小時,另一方卻只有十分鐘,然后宣布前者獲勝。
昨天的AI圈,都被GPT-5.2吊打Gemini 3.0 Pro的結(jié)論所震撼,而前者在ARC AGI 2的精彩表現(xiàn),則尤為出圈,被AI社區(qū)大加贊賞。
相比之下,谷歌Gemini 3.0 Pro以6.7萬token取得相似成績,效率高出整整一倍。
唯一例外的是GDPVal——一個由OpenAI自己創(chuàng)建的測試集。既當(dāng)裁判又當(dāng)運動員,結(jié)果的客觀性就有待考量了。
其實,Ilya在之前的采訪中就已經(jīng)說過,現(xiàn)在的大模型基本都是為了榜單定向優(yōu)化的,榜單結(jié)果的水分都大得很。
業(yè)內(nèi)人士都知道,如今AI基準(zhǔn)測試的「軍備競賽」早已超出單純的技術(shù)競爭。各家廠商都在競相推出自己的評測標(biāo)準(zhǔn),而這些標(biāo)準(zhǔn)往往有意無意地偏向自家模型。
不同模型在不同編程任務(wù)上各有所長,但沒有一個模型能在所有任務(wù)上全面領(lǐng)先。顯然,真實世界的問題遠(yuǎn)比單一分?jǐn)?shù)復(fù)雜。
如果GPT-5.2僅僅是通過消耗更多算力獲得了性能提升,那真的能智能進(jìn)步嗎?還是僅僅是「暴力計算」的勝利呢?
有人表示,如果用戶得到的「推理力度」參數(shù)是一樣的,也用的是同樣的token,那OpenAI就不算虛假營銷。
他們覺得,即使增加Gemini 3的token數(shù)量,它也未必就能趕超GPT-5.2,這一點來說,前者的確落后了。
早在GPT-5.1發(fā)布時,所有基準(zhǔn)測試中用的都是高推理力度(high),然而plus用戶卻只能使用中等的版本。
而現(xiàn)在的5.2版本中,OpenAI增加了更高的「xhigh」推理力度,所以基準(zhǔn)測試中顯示的性能,要遠(yuǎn)遠(yuǎn)超過ChatGPT付費用戶的實際體驗。
網(wǎng)友本以為GPT-5.2會比5.1好得多,但實際用起來并非如此,它并不能理解他寫的函數(shù)代碼。
另一些網(wǎng)友反饋說,GPT-5.2似乎把成年人當(dāng)學(xué)齡前兒童對待,感覺不像是升級,反而是倒退。
總之,GPT-5.2的實際體驗跟基準(zhǔn)測試似乎相差很多,保不齊又是一個在紅色警報狀態(tài)下倉促拿出的產(chǎn)品。
被谷歌打得匆匆忙忙、連滾帶爬的OpenAI變成今天這個樣子,顯然不是一朝一夕的事。
畢竟,當(dāng)一家機(jī)構(gòu)既是「研究AI的人」,又是「靠AI賣故事的人」,它還能誠實地面對那些刺耳的真相嗎?
根據(jù)Wired的最新調(diào)查,OpenAI內(nèi)部正在經(jīng)歷一場關(guān)于「真話權(quán)」的劇烈地震。
在面對「AI是否會搶走你的飯碗」這類致命問題時,OpenAI的策略已悄然轉(zhuǎn)變:閉上嘴,專心賣貨。
回望2023年,OpenAI發(fā)布的重磅論文《GPTs Are GPTs》,直白地剖析了哪些行業(yè)最容易被AI顛覆,并在第二年登上了Science。
在新任首席經(jīng)濟(jì)學(xué)家Aaron Chatterji的帶領(lǐng)下,OpenAI發(fā)布了一份名為《全球用戶如何使用ChatGPT》的報告。
對此,一位前員工吐槽道:「這簡直是為『AI創(chuàng)造價值』這一命題量身定做的軟廣,充滿了粉飾太平的味道。」
矛盾的爆發(fā)點,是報告作者之一、OpenAI經(jīng)濟(jì)研究骨干Tom Cunningham的離職。
那些探討AI如何替代入門級白領(lǐng)(如客服、行政)的課題,要么被要求「軟化措辭」,要么直接被束之高閣。
前政策研究主管Miles Brundage離職時直言,公司「太高調(diào)、限制太多」,讓他「無法發(fā)表真正重要的觀點」。
超級對齊團(tuán)隊的William Saunders因不滿公司「只顧推新產(chǎn)品、無視用戶風(fēng)險」而憤然出走。
前安全研究員Steven Adler更是公開炮轟ChatGPT可能誘發(fā)用戶的「精神危機(jī)和妄想」。
面對Cunningham的離職,OpenAI高層上演了一出教科書般的危機(jī)公關(guān)。
既然是我們把AI推向了世界,我們就得負(fù)責(zé)構(gòu)建解決方案,而不是光盯著問題看。
翻譯一下就是:別再發(fā)論文論證AI會導(dǎo)致失業(yè)了,這不利于帶貨;多想想怎么夸我們的產(chǎn)品能提效吧。
如今的OpenAI早已不是當(dāng)年的非營利實驗室,它正沖刺1萬億美元的驚人估值,并籌備著史上最大規(guī)模的IPO。
如果你正準(zhǔn)備上市,正試圖說服全世界擁抱AI,你絕不希望自家的研究員跳出來說:「嘿,根據(jù)數(shù)據(jù),這波AI可能會讓30%的白領(lǐng)失業(yè)?!?/p>
他們的CEO Dario Amodei甚至公開「唱反調(diào)」,警告到2030年AI可能取代一半的入門級白領(lǐng)。
當(dāng)然,這未必全是出于誠實——很多人解讀,這不過是Anthropic為了換取監(jiān)管紅利而刻意販賣的「焦慮」。
如今掌管其經(jīng)濟(jì)研究團(tuán)隊的,是前克林頓顧問、有著「災(zāi)難大師」之稱的頂級危機(jī)公關(guān)專家——Chris Lehane。
在這個精心修訂的新版本里,AI絕不可能是引發(fā)社會動蕩的「怪物」,它只會是幫你「每天省下40分鐘」的乖巧助手。
iPhone 18 Pro靈動島縮小35%,將首發(fā)搭載基于臺積電2nm工藝制造的A20 Pro芯片
120抵達(dá)40分鐘后病人才上救護(hù)車,老人搶救無效死亡急救中心被判賠17萬余元 急救搬抬如何破局?紅星深度
收評:科創(chuàng)50指數(shù)探底回升漲0.85% CPO、PCB等算力硬件股集體爆發(fā)
華為Mate 80系列銷量約357萬:馬上超越小米17系列 將成國產(chǎn)旗艦冠軍!