“預訓練”是AI大模型學(xué)習中的一種方法,指的是通過(guò)海量的數據,訓練一個(gè)大模型。訓練時(shí)需要大量的數據和算力支持,每次迭代可能耗資數百萬(wàn)至數億美元。
官方技術(shù)論文披露,DeepSeek-V3在預訓練階段僅使用2048塊GPU訓練了2個(gè)月,且只花費557.6萬(wàn)美元。這個(gè)費用是什么概念?
據報道,GPT-4o的模型訓練成本約為1億美元。簡(jiǎn)單粗暴地說(shuō),這相當于DeepSeek-V3比同等性能的AI大模型,降了十幾倍的成本。
早在2024年5月,深度求索發(fā)布DeepSeek-V2時(shí),就曾因給模型的定價(jià)太過(guò)于便宜,開(kāi)啟了中國大模型的價(jià)格戰,被稱(chēng)之為“AI界的拼多多”。
“相比于說(shuō)它是‘拼多多’,它更像小米,貼近成本定價(jià),并且自產(chǎn)自銷(xiāo)?!瘪R千里認為,訓練成本比較低的原因,離不開(kāi)深度求索團隊自研的架構和算力,他們自身的算力儲備可以與大廠(chǎng)比肩,并且更注重底層的模型。
“ChatGPT走的是大參數、大算力、大投入的路子,DeepSeek-V3的路徑用了更多的巧思,依托數據與算法層面的優(yōu)化創(chuàng )新,從而高效利用算力,實(shí)現較好的模型效果?!瘪R千里說(shuō)道。
24直播網(wǎng)24小時(shí)為廣大球迷提供全面及時(shí)的賽事直播和資訊 完全綠色安全無(wú)插件,穩定安全的直播網(wǎng),每天收集最新的體育直播資訊,原創(chuàng )大數據足球籃球賽果預測,歷史戰績(jì),情報分析,24直播網(wǎng)所有直播信號均由用戶(hù)收集或從搜索引擎搜索整理獲得,所有內容均來(lái)自互聯(lián)網(wǎng),我們自身不提供任何直播信號和視頻內容 如有侵犯您的權益請通知我們,我們會(huì )第一時(shí)間處理。
Copyright ? 2021-2024 24直播網(wǎng). All Rights Reserved. 遼ICP備15005339號-4