編輯｜澤南、楊文

剛剛，DeepSeek V4 進(jìn)行了一次更新。

新推出了投機(jī)解碼（Speculative Decoding）框架DSpark，并同步開(kāi)源了支撐該版本的全棧推測(cè)性解碼框架DeepSpec

DeepSeek-V4-Pro-DSpark 并非全新架構(gòu)模型，而是在 DeepSeek-V4-Pro 基礎(chǔ)上引入了推測(cè)性解碼模塊。此次更新的重點(diǎn)在于工程落地，而非模型能力本身的迭代。

DSpark 已被部署在 DeepSeek-V4（Flash 和 Pro）的真實(shí)線上流量中，大幅加速了大語(yǔ)言模型（LLM）的推理速度。

• 技術(shù)報(bào)告：《DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation》
• 技術(shù)報(bào)告鏈接：https://github.com/deepseek-ai/DeepSpec/blob/main/DSpark_paper.pdf

DSpark 的核心初衷是解決在生產(chǎn)環(huán)境中（尤其是高并發(fā)場(chǎng)景下）LLM 推理面臨的延遲和吞吐量瓶頸。簡(jiǎn)而言之，DSpark 成功地將高吞吐量的「并行生成」與自適應(yīng)的「負(fù)載感知驗(yàn)證」結(jié)合在了一起。

推測(cè)性解碼是一種在不改變模型輸出分布的前提下加速大語(yǔ)言模型推理的技術(shù)。其核心思路是引入一個(gè)輕量級(jí)的「草稿模型」（draft model），預(yù)先生成若干候選 token，再由目標(biāo)模型（target model）對(duì)這批候選進(jìn)行批量驗(yàn)證和接受，從而將串行逐 token 生成轉(zhuǎn)變?yōu)椴⑿信啃ｒ?yàn)，大幅降低端到端延遲。

在此基礎(chǔ)上，DSpark 的創(chuàng)新在于引入半自回歸生成架構(gòu)（Semi-Autoregressive Generation）：它保留并行草稿模型的高吞吐優(yōu)勢(shì)，同時(shí)加入輕量級(jí)串行模塊，對(duì) block 內(nèi) token 之間的依賴關(guān)系進(jìn)行建模，以緩解并行草稿模型在后續(xù)位置上容易出現(xiàn)的接受率衰減問(wèn)題。

除此之外還有硬件感知的置信度調(diào)度驗(yàn)證（Confidence-Scheduled Verification）：以往的投機(jī)解碼通常會(huì)盲目地把生成的草稿 Token 全部送去驗(yàn)證，在系統(tǒng)高負(fù)載時(shí)，這些極大概率會(huì)被拒絕的尾部 Token 會(huì)嚴(yán)重浪費(fèi)寶貴的批處理算力。DSpark 引入了一個(gè)置信度頭（Confidence Head）來(lái)評(píng)估每個(gè) Token 的存活概率。結(jié)合硬件感知前綴調(diào)度器，系統(tǒng)能夠根據(jù)實(shí)時(shí)的引擎吞吐量特征，動(dòng)態(tài)為每個(gè)請(qǐng)求量身定制最優(yōu)的驗(yàn)證長(zhǎng)度，將算力只分配給預(yù)期回報(bào)最高的 Token。

為了在真實(shí)的線上基礎(chǔ)設(shè)施中落地，DSpark 的調(diào)度器采用了異步機(jī)制，以兼容零開(kāi)銷調(diào)度（ZOS）和連續(xù)的 CUDA 圖回放。它利用前兩步的歷史預(yù)測(cè)來(lái)決定當(dāng)前的動(dòng)態(tài)截?cái)嚅L(zhǎng)度，從而隱藏了調(diào)度延遲，避免了 GPU 流水線停頓，同時(shí)保證了目標(biāo)模型輸出分布的完全無(wú)損還原。

在涵蓋數(shù)學(xué)推理、代碼生成和日常對(duì)話等多個(gè)領(lǐng)域的測(cè)試中，DSpark 大幅超越了目前最先進(jìn)的自回歸模型（Eagle3）和并行草稿模型（DFlash）。例如，在 Qwen3 系列（4B、8B、14B）目標(biāo)模型上，其平均接受長(zhǎng)度比 Eagle3 提升了 26.7% 到 30.9%，比 DFlash 提升了 16.3% 到 18.4%。

相比于前一代部署的單 Token 生產(chǎn)基準(zhǔn)（MTP-1），在維持相同總體吞吐量的情況下，DSpark 將用戶的生成速度分別提升了 60%-85%（Flash 模型）和 57%-78%（Pro 模型）

隨 DSpark 一同開(kāi)源的還有 DeepSpec，這是一個(gè)用于訓(xùn)練和評(píng)估推測(cè)性解碼草稿模型的全棧代碼庫(kù)。是承載這個(gè)方案以及其他前沿算法實(shí)現(xiàn)的「開(kāi)源基礎(chǔ)設(shè)施」，包含數(shù)據(jù)準(zhǔn)備工具、草稿模型實(shí)現(xiàn)、訓(xùn)練代碼和評(píng)估腳本。

DeepSpec 將整體流程拆分為三個(gè)階段：數(shù)據(jù)準(zhǔn)備、訓(xùn)練和評(píng)估。三個(gè)階段需要按順序運(yùn)行，前一階段的輸出會(huì)作為后一階段的輸入。

數(shù)據(jù)準(zhǔn)備階段，需下載提示詞數(shù)據(jù)、使用推理引擎對(duì)目標(biāo)模型重新生成答案，并構(gòu)建目標(biāo)緩存（target cache）。值得注意的是，以默認(rèn)的 Qwen/Qwen3-4B 配置為例，目標(biāo)緩存體積可達(dá)約 38 TB，使用前需充分評(píng)估存儲(chǔ)資源。

訓(xùn)練階段可通過(guò) bash scripts/train/train.sh 啟動(dòng)。該腳本會(huì)調(diào)用 train.py，并為每張可見(jiàn) GPU 啟動(dòng)一個(gè) worker。用戶可以通過(guò)指定 config_path，在 config/ 目錄下選擇不同算法和目標(biāo)模型配置。項(xiàng)目也支持通過(guò)覆蓋 config_path、target_cache_dir，以及使用 --opts 修改單個(gè)配置字段來(lái)調(diào)整訓(xùn)練設(shè)置。

硬件方面，DeepSpec 默認(rèn)配置和腳本面向單節(jié)點(diǎn) 8 卡環(huán)境。如果 GPU 數(shù)量較少，用戶需要相應(yīng)減少 CUDA_VISIBLE_DEVICES 中的可見(jiàn) GPU 數(shù)量。

評(píng)估階段則通過(guò) bash scripts/eval/eval.sh 啟動(dòng)。評(píng)估腳本會(huì)使用訓(xùn)練好的草稿模型 checkpoint，在多個(gè) speculative decoding 基準(zhǔn)任務(wù)上衡量接受情況。項(xiàng)目當(dāng)前列出的評(píng)估數(shù)據(jù)集包括 GSM8K、MATH500、AIME25、HumanEval、MBPP、LiveCodeBench、MT-Bench、Alpaca 和 Arena-Hard-v2，覆蓋數(shù)學(xué)推理、代碼生成、對(duì)話能力和綜合問(wèn)答等不同任務(wù)類型。

算法方面，DeepSpec 目前內(nèi)置三種草稿模型：DSpark、DFlash 和 Eagle3。目標(biāo)模型系列方面，項(xiàng)目當(dāng)前支持 Qwen3 和 Gemma。

DeepSpec 的開(kāi)源，將推測(cè)性解碼這一此前多散落于各研究團(tuán)隊(duì)內(nèi)部的工程實(shí)踐，整合為一套可復(fù)現(xiàn)、可擴(kuò)展的標(biāo)準(zhǔn)化工具鏈。對(duì)于希望為自有大模型加速推理的研究者和工程師而言，這意味著可以直接在成熟框架上訓(xùn)練定制草稿模型，跳過(guò)大量重復(fù)的基礎(chǔ)設(shè)施搭建工作。

https://github.com/deepseek-ai/DeepSpec/blob/main/DSpark_paper.pdf

https://github.com/deepseek-ai/DeepSpe