-
“AI界的拼多多”DeepSeek推出新款大模型,水平如何?
-
連政gczhewanxgun
開源和閉源AI的差距,進一步被這家中國公司縮小了。
近日,被稱為“AI界拼多多”的中國人工智能初創公司深度求索(DeepSeek)發布了全新大模型DeepSeek-V3(下稱V3)并同步開源。該模型在Aider多語言編程測試排行榜中,已超越Anthropic的Claude 3.5 Sonnet大模型,僅次于榜首的OpenAI o1大模型。
開源No.1,多方面追平閉源大模型
DeepSeek是知名私募巨頭幻方量化旗下的人工智能公司,根據DeepSeek公布的測試結果,其運行了多項基準測試來比較性能,V3模型已明顯優于包括Meta公司的Llama-3.1-405B和阿里云的Qwen 2.5-72B等一眾領先開源模型。在大多數基準測試中,它甚至部分超越了OpenAI的閉源模型GPT-4o。
Deepseek-V3在多方面超越、追平各種開源、閉源大模型。Deepseek
首先是百科知識上,V3的知識類任務(MMLU, MMLU-Pro, GPQA, SimpleQA)水平相比前代 DeepSeek-V2.5 (下稱V2.5)顯著提升,接近當前表現最好的模型 Claude-3.5-Sonnet-1022。長文本測評方面,在DROP、FRAMES 和 LongBench v2 上,V3 平均表現超越其他模型。
此外,V3 在算法類代碼場景(Codeforces),遠遠領先于市面上已有的全部非o1類模型,并在工程類代碼場景(SWE-Bench Verified)逼近 Claude-3.5-Sonnet-1022。
值得注意的是,V3在中文和數學相關基準測試中表現尤為突出。
在美國數學競賽(AIME 2024, MATH)和全國高中數學聯賽(CNMO 2024)上,V3大幅超過了所有開源閉源模型。在中文能力上,V3 與 Qwen2.5-72B 在教育類測評 C-Eval 和代詞消歧等評測集上表現相近,但在事實知識 C-SimpleQA 上更為領先。
訓練成本極低
按照美媒Venture Beat的說法,雖然V3已成為市場上最強大的開源模型,但其訓練成本卻非常非常低。
通過在上一代DeepSeek-V2上的成功驗證,V3沿用了可以大幅降低顯存占用的MLA(多頭潛注意)和DeepSeekMoE(混合專家)架構,其具有6710億參數,每次推理激活370億參數,這種方法確保了高效的訓練及推理。在訓練階段,DeepSeek使用了多種硬件和算法優化,包括FP8混合精度訓練框架和用于管道并行的DualPipe算法,以降低訓練成本。
V3基礎架構,DeepSeek創新的MLA被用于高效推理,DeepSeekMoE則用于經濟訓練。DeepSeek論文
DeepSeek聲稱,V3 實現了極高的訓練效率。在約278.8萬個英偉達 H800 GPU小時內完成了V3的整個訓練,假設GPU的小時租金為2美元,總成本就是約為557萬美元。這遠低于通常用于預訓練大語言模型動輒上億美元的成本,比如Llama-3.1的預訓練成本估計就超過5億美元。
DeepSeek還通過算法和工程上的創新,使V3的生成吐字速度從20TPS大幅提高至60TPS,相比V2.5模型實現了3倍的提升,在處理多模態數據和長文本時表現突出。而隨著性能更強、速度更快的V3更新上線,DeepSeek的模型API服務定價也調整為每百萬輸入tokens 0.5元(緩存命中)/2元(緩存未命中),每百萬輸出tokens 8元。
量化基金轉型人工智能
公開資料顯示,在DeepSeek背后是量化私募巨頭幻方(High-Flyer Quant),也是大廠外唯一一家儲備上萬張英偉達 A100芯片的公司。幻方成立于2008年,總部位于中國杭州,專注于利用數學、統計學和計算機技術進行金融市場的量化分析和交易。
自2023年四季度以來,A股市場不斷下行,而利用數學模型和計算機程序等技術手段進行投資決策的量化基金曾被作為“罪魁禍首”受到輿論的沖擊,這也讓幻方旗下基金表現一直落后于滬深300指數4個百分點。
不過,隨著今年5月DeepSeek-V2發布,幻方量化卻成功轉型為人工智能先驅,其超低價格甚至引發了國內大模型的價格戰,DeepSeek也被迅速冠以“AI界拼多多”之稱。這反映出百度和阿里巴巴等科技巨頭,盡管在生成式人工智能領域已處于領先地位,但仍需要面對著來自新玩家的激烈競爭。
幻方創始人梁文鋒此前曾回應稱,DeepSeek定價原則就是不貼錢,但也不賺取暴利。只是讓他也沒想到的是,DeepSeek的定價卻讓各大廠商紛紛降價,然而DeepSeek自身反而卻是有利潤的。
“字節是第一個跟進的,其旗艦模型降到和我們一樣的價格,然后觸發了其它大廠紛紛降價”,梁文鋒解釋說,“因為大廠的模型成本比DeepSeek高很多,所以DeepSeek沒想到會有人虧錢做這件事,最后就變成了互聯網時代的燒錢補貼的邏輯。”
梁文鋒認為,更多的投入并不一定產生更多的創新,否則大廠可以把所有的創新包攬了。
本文系觀察者網獨家稿件,未經授權,不得轉載。
- 責任編輯: 連政 
-
旗艦配色搞國內外區別對待?OPPO稱絕對沒有
2024-12-27 12:39 觀網財經-科創 -
美團發布情況說明:堅決治理騎手注冊個體工商戶
2024-12-27 10:53 觀網財經-互聯網 -
臺媒稱大陸手機鏡頭廠“暴雷”,涉事企業:與事實嚴重不符
2024-12-27 10:26 觀網財經-科創 -
世界銀行上調今年中國GDP增長預期
2024-12-27 09:43 中國經濟 -
民調:只有19%的美國人認為國家走在正確的道路上
2024-12-27 08:58 美國政治 -
政企辦公應用鴻蒙化,為什么刻不容緩?
2024-12-27 08:11 觀網財經-科創 -
山寨臺積電?韓產業界提議政府組建“韓積電”
2024-12-26 15:42 科技前沿 -
小米被曝正搭建GPU萬卡集群,大力投入大模型
2024-12-26 13:49 觀網財經-科創 -
規避美國制裁?藥明康德出售海外高端治療業務
2024-12-26 13:09 大公司 -
余承東:華為明年有大家想不到的產品
2024-12-26 10:12 觀網財經-科創 -
得益于AI?蘋果和臺積電的股價都在創歷史新高
2024-12-25 21:21 觀網財經-科創 -
網友曝小米將大規模裁員,小米王化:造謠者百分百賠錢
2024-12-25 21:14 觀網財經-科創 -
健身龍頭威爾仕閉店近八成:上千人討薪,有幸存門店連廁紙都斷供
2024-12-25 17:26 產業萬象 -
嘲諷大學生找不到工作,這個網紅被禁止關注
2024-12-25 16:00 觀網財經-互聯網 -
被曝逼商家“選邊站”,亞馬遜急了?
2024-12-25 15:45 觀網財經-海外 -
中國云市場重回兩位數增長,阿里、華為、騰訊占70%份額
2024-12-25 10:51 觀網財經-科創 -
騰訊辟謠微信“送禮物”紀要:不要給我們定商業計劃了
2024-12-25 10:38 觀網財經-互聯網 -
1億元,中國郵政正式涉足無人機制造
2024-12-24 18:55 低空經濟 -
全球科技封鎖加劇,中國量子計算如何追趕?
2024-12-24 18:35 觀察者頭條 -
受賄1776余萬,工行原紀委書記劉立憲一審被判八年
2024-12-24 17:08 廉政風暴
相關推薦 -
-
布林肯承認“開打前就給了”,俄方回應 評論 67央行宣布將擇機降準降息,“擇機”以何為標志? 評論 114被逼急了,格陵蘭島總理:是時候獨立了 評論 172美媒直呼:啥都能威脅國家安全,美國完全走偏了 評論 155司機留信曝光:同胞們醒醒吧,美國快病死了! 評論 294最新聞 Hot
-
被逼急了,格陵蘭島總理:是時候獨立了
-
美媒直呼:啥都能威脅國家安全,美國完全走偏了
-
“到2030年,中國本土數學家將能引領世界”
-
密謀推翻馬爾代夫總統?印度回應
-
域外調查惹惱國際奧委會,“2034鹽湖城冬奧會有點懸”
-
欲爭奪歐洲最大電動車市場,但英國國內阻力不小
-
土耳其喊話歐盟:他不干,我干
-
“沒想到拜登竟會如此對待盟友!”
-
司機留信曝光:同胞們醒醒吧,美國快病死了!
-
特朗普炮轟:英國犯下了大錯!
-
盧卡申科:計劃訪華,事關未來
-
特朗普“封口費”案將于1月10日宣判,“但不會入獄”
-
“美國沒能改變中國”,布林肯一聽急了…
-
事關中國FK-3,塞爾維亞:這是一個“里程碑”
-
“中國真出手怎么辦?企業緊張研判…”
-
以己度人?“中方為了談判籌碼”
-