當(dāng)行業(yè)在討論誰(shuí)的模型更聰明時(shí),DeepSeek仍然把目光投向更現(xiàn)實(shí)的問題:如何讓模型更快。
6月27日,DeepSeek官方在Github低調(diào)更新了一篇最新論文,介紹其推理加速框架DSpark,試圖解決大語(yǔ)言模型在高并發(fā)場(chǎng)景下的推理效率瓶頸。
從作者署名來看,這篇論文由DeepSeek與北京大學(xué)聯(lián)合發(fā)布,DeepSeek創(chuàng)始人梁文鋒也位列作者名單。在論文中,團(tuán)隊(duì)開源了DSpark模型權(quán)重,并同步發(fā)布了面向推測(cè)解碼、由算法驅(qū)動(dòng)的訓(xùn)練代碼倉(cāng)庫(kù)DeepSpec。
![]()
DeepSeek最新論文截圖
此次論文仍是DeepSeek一貫的技術(shù)派風(fēng)格,論文標(biāo)題就較為晦澀——《DSpark:基于置信度調(diào)度的半自回歸生成推測(cè)解碼》(《DSpark:Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation》)。
在論文中,DeepSeek首先解釋了需要解決的問題。大語(yǔ)言模型采用自回歸方式生成文本:每一個(gè)新詞元(token)的生成,都需要基于全部前置詞元完成一次完整前向傳播,結(jié)果是輸出越長(zhǎng),等待越久。由此帶來GPU利用率低下、用戶等待時(shí)間過長(zhǎng)的問題,這是大語(yǔ)言模型線上服務(wù)的核心性能瓶頸,在實(shí)時(shí)對(duì)話助手、多輪智能體工作流等低時(shí)延敏感場(chǎng)景中尤為突出。
目前的主流方案分為自回歸草稿模型(Eagle3)、并行草稿模型(DFlash)兩條路線,二者各有缺陷,包括生成質(zhì)量瓶頸和系統(tǒng)效率瓶頸等,且現(xiàn)有方案均缺乏負(fù)載自適應(yīng)校驗(yàn)機(jī)制。
基于此,DeepSeek提出DSpark推測(cè)解碼框架,采用半自回歸架構(gòu),通過兩套互補(bǔ)機(jī)制,解決草稿生成與校驗(yàn)環(huán)節(jié)的權(quán)衡矛盾,將高吞吐并行生成與自適應(yīng)負(fù)載感知校驗(yàn)機(jī)制融為一體。
根據(jù)論文,在數(shù)學(xué)推理、代碼生成、日常閑聊三類任務(wù)的受控離線基準(zhǔn)測(cè)試中,相較于自回歸草稿模型與并行草稿模型,Dspark框架能夠大幅提升單輪平均可接受詞元長(zhǎng)度。
DeepSeek已經(jīng)將DSpark部署到DeepSeek-V4在線服務(wù)系統(tǒng)中,并基于真實(shí)用戶流量評(píng)估其實(shí)際性能。結(jié)果顯示,相較于現(xiàn)有生產(chǎn)環(huán)境基線系統(tǒng)MTP-1,在相同吞吐量條件下,DSpark將用戶端生成速度提升了60%-85%。
此外,DeepSeek也將這一框架部署在其他模型上,以阿里旗下的Qwen3-4B、8B、14B三個(gè)模型為例,相較于自回歸草稿模型,DSpark平均單輪可接受詞元長(zhǎng)度分別提升了30.9%、26.7%、30%;相較于并行草稿模型,DSpark分別提升了16.3%、18.4%、18.3%。
從技術(shù)角度來看,這篇論文的主要價(jià)值在于,通過算法創(chuàng)新顯著提升了模型的推理生成速度。在當(dāng)前大模型行業(yè)逐漸走向落地的背景下,誰(shuí)能更便宜、更快速地輸出結(jié)果,也是一項(xiàng)重要的競(jìng)爭(zhēng)力。此外,通過開源,DeepSeek也再次推動(dòng)了社區(qū)發(fā)展。
“AI Infra再次被DeepSeek加速了。”在社交平臺(tái),有開發(fā)者評(píng)價(jià)道。也有用戶認(rèn)為,DeepSeek最讓人佩服的點(diǎn)在于,模型迭代的同時(shí),推理基礎(chǔ)設(shè)施也在同步更新,發(fā)布V4時(shí),連推理優(yōu)化一起發(fā),有論文也有代碼,還驗(yàn)證了跨模型通用性。
即便近期頻頻傳出融資消息,未來可能需要走向商業(yè)化,但通過這一開源,DeepSeek似乎在證明自己仍會(huì)堅(jiān)持開源初心。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.