出品|三言Pro

今天，筆者無意中刷到一張圖片。

編輯

【資料圖】

據(jù)該圖片顯示，OpenAI的GPT-4在11個大模型中（第一名序號為0），已經(jīng)排到了最后。還有網(wǎng)友配上了“GPT4：我的冤屈怎么訴？”的字樣。

這不禁讓人好奇，今年年初，ChatGPT爆火以后，其他公司才開始提大模型的概念。

這才半年多，GPT就已經(jīng)“墊底”了？

于是，筆者想看看GPT排名到底咋樣了。

測試時間不同

測試團隊不同

GPT-4排第十一

從前文中圖片上顯示的信息來看，這個排名是出自C-Eval榜單。

C-Eval榜單，全稱C-Eval全球大模型綜合性考試測試榜，是由清華大學(xué)、上海交通大學(xué)和愛丁堡大學(xué)合作構(gòu)建的中文語言模型綜合性考試評估套件。

據(jù)悉，該套件覆蓋人文、社科、理工、其他專業(yè)四個大方向，包括52個學(xué)科，涵蓋微積分、線性代數(shù)等多個知識領(lǐng)域。共有13948道中文知識和推理型題目，難度分為中學(xué)、本科、研究生、職業(yè)等四個考試級別。

于是筆者查看了最新的C-Eval榜單。

C-Eval榜單的最新排名與前文中圖片所顯示的排名相符，排名前十一的大模型中，GPT-4排最后。

編輯

據(jù)C-Eval榜單介紹，這些結(jié)果代表zero-shot（零樣本學(xué)習(xí)）或者few-shot（少樣本學(xué)習(xí)）測試，但few-shot不一定比zero-shot效果好。

C-Eval表示，在其測試中發(fā)現(xiàn)許多經(jīng)過指令微調(diào)之后的模型在zero-shot下更好。其測試的很多模型同時有zero-shot和few-shot的結(jié)果，排行榜中顯示了總平均分更好的那個設(shè)置。

C-Eval榜單還注明了，大模型名字中帶“*”的，表示該模型結(jié)果由C-Eval團隊測試得到，而其他結(jié)果是通過用戶提交獲得。

此外，筆者還注意到，這些大模型提交測試結(jié)果的時間有很大差別。

GPT-4的測試結(jié)果提交時間是5月15日，而位居榜首的云天書，提交時間為8月31日；排第二的Galaxy提交時間為8月23日；排第三的YaYi提交時間為9月4日。

并且，排名前16的這些大模型，只有GPT-4的名字加了“*”，是由C-Eval團隊測試的。

于是筆者又查看了完整的C-Eval榜單。

最新的C-Eval榜單一共收錄了66個大模型的排名。

其中，名字帶“*”，也就是由C-Eval團隊測試的，只有11個，且提交測試的時間均為5月15日。

這些由C-Eval團隊測試的大模型，OpenAI的GPT-4排第十一，ChatGPT排第三十六，而清華智譜AI的ChatGLM-6B排在第六十，復(fù)旦的MOSS排在了第六十四。

雖然這些排名可以看出國內(nèi)的大模型發(fā)展勢頭的迅猛，但筆者認(rèn)為，畢竟不是同一團隊在同一時間進行的測試，不足以完全證明這些大模型誰強誰弱。

這就好比，一個班的學(xué)生，每個人的考試時間不同，答的試卷也都不一樣，怎么能靠每個學(xué)生的分?jǐn)?shù)比高低呢？

大模型開發(fā)者怎么說？

多家表示在中文等能力上超過ChatGPT

最近，大模型的圈子相當(dāng)熱鬧。

又是百度、字節(jié)等8家公司大模型產(chǎn)品通過了《生成式人工智能服務(wù)管理暫行辦法》備案，可正式上線面向公眾提供服務(wù)。又是其他公司相繼發(fā)布自家大模型產(chǎn)品。

那這些大模型的開發(fā)者又都是怎么介紹自家產(chǎn)品的呢？

7月7日，在2023世界人工智能大會“大模型時代的通用人工智能產(chǎn)業(yè)發(fā)展機遇以及風(fēng)險”論壇上，復(fù)旦大學(xué)計算機科學(xué)技術(shù)學(xué)院教授、MOSS系統(tǒng)負(fù)責(zé)人邱錫鵬表示，復(fù)旦對話式大型語言模型MOSS在今年2月發(fā)布后，還在連續(xù)不停地迭代，“最新的MOSS已經(jīng)能夠在中文能力上超過ChatGPT。”

7月底，網(wǎng)易有道上線翻譯大模型，網(wǎng)易有道CEO周楓公開表示，在內(nèi)部的測試中，在中英互譯的方向上，已經(jīng)超越ChatGPT的翻譯能力，也超過了谷歌翻譯的水準(zhǔn)。

8月下旬，在2023年亞布力論壇夏季高峰會上，科大訊飛創(chuàng)始人、董事長劉慶峰發(fā)表演講時稱，“訊飛星火大模型的代碼生成和補齊能力已經(jīng)超過了ChatGPT，其他各項能力正在快速追趕。當(dāng)前代碼能力的邏輯、算法、方法體系、數(shù)據(jù)準(zhǔn)備已就緒，所需要的就是時間和算力。”

商湯近期的新聞稿中稱，今年8月，新模型internlm-123b完成訓(xùn)練，參數(shù)量提升至1230億。在全球51個知名評測集共計30萬道問題集合上，測試成績整體排名全球第二，超過以及meta公司新發(fā)布的llama2-70b等模型。

據(jù)商湯介紹，internlm-123在主要評測中，有12項成績排名第一。其中，在評測集綜合考試中的agieval分?jǐn)?shù)為，超越gpt-4位列第一；知識問答commonsenseqa的評測分?jǐn)?shù)為，排名第一；internlm-123b在閱讀理解的五項評測中成績?nèi)烤影袷住?

此外，在推理的五項評測中成績排名第一。

本月初，作業(yè)幫正式發(fā)布自研銀河大模型。

作業(yè)幫表示，銀河大模型在C－Eval、CMMLU兩大權(quán)威大語言模型評測基準(zhǔn)的成績。數(shù)據(jù)顯示，作業(yè)幫銀河大模型以平均分73．7分位居C－Eval榜首；同時在CMMLU榜單Five－shot和Zero－shot測評中分別以平均分74．03分及73．85分位列第一，成為首個同時在上述兩大權(quán)威榜單平均分排名第一的教育大模型。

昨天，百川智能宣布正式開源微調(diào)后的Baichuan 2-7B、Baichuan 2-13B、Baichuan 2-13B-Chat與其4bit量化版本。

百川智能創(chuàng)始人、CEO王小川稱，經(jīng)過微調(diào)之后的Chat模型，在中文領(lǐng)域，在Q&A問答環(huán)境，或者摘要環(huán)境里面，評價它的實際性能已經(jīng)超過這樣的閉源模型。

今天，在2023騰訊全球數(shù)字生態(tài)大會上，騰訊正式發(fā)布混元大模型。騰訊集團副總裁蔣杰稱，騰訊混元大模型中文能力已經(jīng)超過。

除了這些開發(fā)者的自我介紹，也有一些媒體和團隊對一種大模型進行評比。

8月上旬，清華大學(xué)新聞與傳播學(xué)院教授、博士生導(dǎo)師沈陽所在團隊發(fā)布了《大語言模型綜合性能評估報告》。報告顯示，百度文心一言在三大維度20項指標(biāo)中綜合評分國內(nèi)領(lǐng)先，較優(yōu)于ChatGPT，其中中文語義理解排名靠前，部分中文能力較優(yōu)于GPT-4。

8月中旬，有媒體報道稱，8月11日，小米大模型MiLM-6B現(xiàn)身C-Eval、CMMLU大模型評測榜單。截至當(dāng)前，MiLM-6B在C-Eval總榜單排名第10、同參數(shù)量級排名第1，在CMMLU中文向大模型排名第1。

8月12日，天津大學(xué)發(fā)布《大模型評測報告》。報告顯示，GPT-4和百度文心一言相較于其他模型綜合性能顯著領(lǐng)先，兩者得分相差不大，處于同一水平。文心一言已經(jīng)在大部分中文任務(wù)中實現(xiàn)了對ChatGPT的超越，并逐步縮小與GPT-4的差距。

8月下旬，有媒體報道稱，快手自研的大語言模型“快意”（KwaiYii）已開啟內(nèi)測。在最新的CMMLU中文向排名中，快意的13B版本KwaiYii-13B同時位列five-shot和zero-shot下的第一名，在人文學(xué)科、中國特定主題等方面較強，平均分超61分。

通過上述內(nèi)容可以看出，這些大模型雖然紛紛號稱自己在某排名中居首，或者是在某某方面超越ChatGPT，但大多是在一些具體的領(lǐng)域表現(xiàn)優(yōu)異。

另外，有一些綜合評分超過了或GPT-4，但GPT的測試是停留在5月的，誰能保證這近3個月的時間里，GPT沒有進步呢？

OpenAI的處境

根據(jù)瑞銀集團2月的一份報告顯示，在ChatGPT推出僅兩個月后，它在2023年1月末的月活用戶已經(jīng)突破了1億，成為史上用戶增長速度最快的消費級應(yīng)用程序。

但ChatGPT的發(fā)展也不是那么順利。

今年7月，有不少GPT-4用戶吐槽，與之前的推理能力相比，GPT-4的性能有所下降。

有些用戶在推特以及OpenAI在線開發(fā)者論壇上指出了問題，集中于邏輯變?nèi)?、更多錯誤回答、無法跟蹤提供的信息、難以遵循指令、忘記在基本軟件代碼中添加括號，只能記得最近的提示等等。

8月，又有一份報告稱，OpenAi可能處于潛在的財務(wù)危機中，可能于2024年底破產(chǎn)。

報告中表示，OpenAI僅運行其人工智能服務(wù)ChatGPT每天就要花費約70萬美元。目前，該公司正試圖通過和GPT-4實現(xiàn)盈利，但是還尚未產(chǎn)生足夠的收入實現(xiàn)收支平衡。

不過，OpenAI或許也有新的轉(zhuǎn)機。

日前，OpenAI宣布，將于11月舉辦首屆開發(fā)者大會。

雖然OpenAI表示不會發(fā)布GPT-5，但OpenAI稱將有來自世界各地的數(shù)百名開發(fā)人員與OpenAI團隊一起，提前一覽“新的工具”，并且交流想法。

這可能意味著，ChatGPT已經(jīng)取得了新的進步。

另據(jù)澎湃新聞報道，8月30日，一位知情人士透露，通過銷售AI軟件和驅(qū)動其運行的計算能力，OpenAI預(yù)計將在未來12個月內(nèi)實現(xiàn)超過10億美元的收入。

今天，又有媒體報道稱，本月晚些時候摩根士丹利將推出一款和OpenAI共同研發(fā)的生成式人工智能聊天機器人。

和摩根士丹利的銀行家打交道的人，非富即貴。如果這款即將推出的生成式人工智能聊天機器人能給摩根士丹的客戶帶來不同的體驗，對OpenAI來說，也許會是一個巨大的收獲。

人工智能時代的到來，已經(jīng)勢不可擋。至于到底誰更勝一籌，不能光靠自己說，還得讓用戶來打分。我們也相信國內(nèi)大模型一定會、一定能在各具體能力、綜合能力上趕超ChatGPT。

關(guān)鍵詞：