當(dāng)用戶向大語言模型提出一個(gè)簡單問題，比如「單詞 HiPPO 里有幾個(gè)字母 P？」，它卻正襟危坐，開始生成一段冗長的推理鏈：「首先，讓我們分析 HiPPO 這個(gè)詞，河馬的英文單詞為 hippo，河馬是一種半水生哺乳動(dòng)物，這里用戶用了大寫字母，可能有特殊的含義，對(duì)于單詞 HiPPO，我們可以將其拆分為 H-i-P-P-O，字母 P 出現(xiàn)在第 3 與第 4 個(gè)位置，因此有 2 個(gè)字母 P... 讓我們簡化問題，HiPO 可以拆分為...」

面對(duì)這樣的「嚴(yán)謹(jǐn)」，用戶難免哭笑不得，既浪費(fèi)了計(jì)算資源，也增加了等待時(shí)間，甚至更壞的情況是模型被自己冗長的推理鏈「繞暈了過去」，最終給出了錯(cuò)誤的答案，用戶只得捶胸頓足地大喊：「這合理嗎？」

這種現(xiàn)象，正是當(dāng)前追求強(qiáng)大推理能力的 LLM 們普遍面臨的「過度思考」（Overthinking）困境。

無論是數(shù)學(xué)計(jì)算、代碼生成還是邏輯問答，模型似乎習(xí)慣了「啟動(dòng)即深思」的模式，即使面對(duì)本可直觀回答的簡單問題，也要展開一番鏈?zhǔn)剿伎迹–hain-of-Thought, CoT），導(dǎo)致 token 使用量激增、推理延遲變長、部署成本高昂。如何在保持復(fù)雜問題解決準(zhǔn)確性的同時(shí)，避免在簡單任務(wù)上「空轉(zhuǎn)」、在復(fù)雜任務(wù)上高效「運(yùn)轉(zhuǎn)」，成為 LLM 走向?qū)嵱没囊淮箨P(guān)鍵挑戰(zhàn)。

如今，快手 KwaiKAT 團(tuán)隊(duì)與南京大學(xué)劉佳恒老師 NJU-LINK 實(shí)驗(yàn)室、張煜群教授實(shí)驗(yàn)室 ARiSE合作重磅推出HiPO（Hybrid Policy Optimization）框架，為 LLM 裝上了智能的「思考開關(guān)」。該框架通過創(chuàng)新的混合數(shù)據(jù)冷啟動(dòng)與混合強(qiáng)化學(xué)習(xí)獎(jiǎng)勵(lì)系統(tǒng)，使模型能夠自主、動(dòng)態(tài)地決策何時(shí)該啟動(dòng)詳細(xì)推理（Think-on），何時(shí)該直接給出答案（Think-off）。

這不僅顯著提升了推理效率，更在多個(gè)核心基準(zhǔn)測(cè)試上實(shí)現(xiàn)了準(zhǔn)確率的同步提升，為構(gòu)建高效、實(shí)用的下一代推理大模型提供了解決方案。

• 論文鏈接：https://arxiv.org/abs/2509.23967
• 項(xiàng)目鏈接：https://huggingface.co/Kwaipilot/HiPO-8B

困境之源：LLM 的「思考」代價(jià)與「過度思考」頑疾

大語言模型在復(fù)雜認(rèn)知任務(wù)上的巨大成功，很大程度上歸功于鏈?zhǔn)剿伎迹–oT） 推理范式的引入。讓模型像人一樣「一步一步想問題」，極大地提升了其在數(shù)學(xué)、編程、科學(xué)問題解決等領(lǐng)域的表現(xiàn)。然而，這套強(qiáng)大的推理機(jī)制也帶來了「認(rèn)知慣性」：模型傾向于對(duì)所有問題都「一視同仁」地進(jìn)行深度推理。

• 效率與成本的矛盾：始終生成冗長的推理軌跡是低效的。它直接轉(zhuǎn)化為極高的 Token 使用量，意味著更慢的響應(yīng)速度（延遲）和更昂貴的 API 調(diào)用或自建推理成本。在追求交互體驗(yàn)和成本控制的真實(shí)應(yīng)用場(chǎng)景中，這成為了一個(gè)致命的短板。
• 「過度思考」的普遍性：近期多項(xiàng)研究都明確指出，LLM 存在普遍的過度思考現(xiàn)象。即使是最先進(jìn)的模型，也常常在簡單問題上「小題大做」，生成大量冗余推理步驟，造成了計(jì)算資源的巨大浪費(fèi)。在復(fù)雜問題上，模型也常常出現(xiàn)反復(fù)冗余思考的現(xiàn)象，導(dǎo)致回答出錯(cuò)。

現(xiàn)有的解決方案試圖緩解這一問題，但各有局限：

• 基于訓(xùn)練的自適應(yīng)推理：通過強(qiáng)化學(xué)習(xí)（RL）引入長度懲罰或簡潔性獎(jiǎng)勵(lì)，或通過監(jiān)督微調(diào)（SFT）偏好更短的推理。但這類方法信號(hào)粗糙，可能因單調(diào)的 「縮短」激勵(lì)而損害模型處理難題的能力。
• 外部控制：通過精心設(shè)計(jì)的提示詞或動(dòng)態(tài)指令來限制推理步驟。這種方法靈活但依賴人工設(shè)計(jì)，難以規(guī)模化且泛化能力存疑。
• 事后優(yōu)化：在推理鏈生成后進(jìn)行剪枝或重構(gòu)。這屬于「事后補(bǔ)救」，無法從根源上改變模型的思考模式。

核心問題在于，缺乏一個(gè)原則性的機(jī)制，來精細(xì)地平衡準(zhǔn)確性、回答效率之間的權(quán)衡，讓模型學(xué)會(huì)「具體問題，具體分析」。

HiPO 破局之道：雙輪驅(qū)動(dòng)的「智能思考開關(guān)」

HiPO 框架的核心思想是將「是否思考」的決策權(quán)交給模型自身，并通過系統(tǒng)性的訓(xùn)練方法，確保其決策的智能性與平衡性。其創(chuàng)新性主要體現(xiàn)在兩大核心組件上：

組件一：混合數(shù)據(jù)冷啟動(dòng)—— 為模型裝上「智能思考開關(guān)」

要讓模型學(xué)會(huì)選擇，首先需要讓它見識(shí)過「思考」和「不思考」兩種模式下的高質(zhì)量回答是什么樣的。HiPO 設(shè)計(jì)了一套精密的自動(dòng)化數(shù)據(jù)構(gòu)建流程，并使用混合數(shù)據(jù)進(jìn)行冷啟動(dòng)。

1.數(shù)據(jù)收集與分類：研究團(tuán)隊(duì)整合了多個(gè)高質(zhì)量的公開及專有數(shù)學(xué)與代碼推理數(shù)據(jù)集（如 AM-Thinking-v1-Distilled, AceReason-Math, II-Thought-RL, Skywork-OR1-RL-Data），構(gòu)建了一個(gè)高質(zhì)量的訓(xùn)練語料庫。

2.雙模式響應(yīng)生成與優(yōu)選：對(duì)于每個(gè)問題，使用一個(gè)強(qiáng)大的推理模型（如 DeepSeek-V3）分別生成 N 個(gè)「Think-on」（帶推理）和 N 個(gè)「Think-off」（直接回答）的響應(yīng)。然后，自動(dòng)驗(yàn)證所有回答的正確性。

• 關(guān)鍵優(yōu)選策略：比較兩種模式的通過率（Pass Rate）。如果「Think-on」模式的通過率顯著高于「Think-off」，則選擇「Think-on」模式；反之則選擇 「Think-off」。特別巧妙的是，當(dāng)兩種模式通過率相差無幾（低于閾值 δ）時(shí)，策略會(huì)傾向于選擇「Think-off」模式。這一設(shè)計(jì)直接鼓勵(lì)模型在深度思考不能帶來明顯收益時(shí)，優(yōu)先選擇更簡潔的回答，從數(shù)據(jù)源頭注入效率意識(shí)。
• 最短正確響應(yīng)：在獲勝的模式下，選擇最短的正確響應(yīng)作為最終樣本，進(jìn)一步強(qiáng)化簡潔性。

3.引入模式解釋信號(hào)：為了強(qiáng)化模型對(duì)模式選擇的理解，HiPO 還引入了一個(gè)輔助解釋信號(hào)。對(duì)于每個(gè)優(yōu)選出的問答對(duì)，會(huì)使用 DeepSeek-V3 生成一段理由（Justification），解釋「為什么這個(gè)問題適合（或不適合）進(jìn)行深度推理」。這為模型提供了寶貴的元認(rèn)知信號(hào)，幫助其將模式選擇與問題內(nèi)在的復(fù)雜性對(duì)齊。

這套管道最終產(chǎn)出的數(shù)據(jù)，每條都包含了問題、最終回答、以及關(guān)于思考模式的理由。在這些數(shù)據(jù)上對(duì)模型進(jìn)行冷啟動(dòng)，使得模型初步具有了「智能思考」的能力。

組件二：混合強(qiáng)化學(xué)習(xí)獎(jiǎng)勵(lì)系統(tǒng) —— 精細(xì)化引導(dǎo)模型的「決策天平」

有了高質(zhì)量的數(shù)據(jù)進(jìn)行「冷啟動(dòng)」（Cold-Start）訓(xùn)練后，HiPO 通過一個(gè)設(shè)計(jì)精巧的混合強(qiáng)化學(xué)習(xí)（RL）階段，對(duì)模型進(jìn)行微調(diào)，使其決策能力臻于完善。該獎(jiǎng)勵(lì)系統(tǒng)的核心目標(biāo)是防止模型過度依賴看似更可靠的「Think-on」模式，實(shí)現(xiàn)真正的自適應(yīng)。

1.基礎(chǔ)獎(jiǎng)勵(lì)：每個(gè)生成的回答會(huì)根據(jù)其答案正確性（ACC）和格式正確性（FORMAT）獲得一個(gè)基礎(chǔ)獎(jiǎng)勵(lì)分。

2.偏差調(diào)整機(jī)制 —— 防止「思考」慣性：這是 HiPO 的一個(gè)關(guān)鍵創(chuàng)新。由于 「Think-on」模式通常更準(zhǔn)確，模型在 RL 過程中容易產(chǎn)生偏向，無論問題難易都選擇「思考」。為了解決這一問題，HiPO 引入了動(dòng)態(tài)的偏差調(diào)整機(jī)制。

• 它會(huì)計(jì)算「Think-on」模式響應(yīng)的平均獎(jiǎng)勵(lì)，然后為「Think-off」模式設(shè)定一個(gè)偏置項(xiàng)（bias_off），該偏置項(xiàng)是「Think-on」平均獎(jiǎng)勵(lì)的一個(gè)比例（由 ω 控制，通常設(shè)為 0.01）。
• 當(dāng)「Think-off」模式的性能不顯著優(yōu)于「Think-on」，但差距在一定范圍內(nèi)時(shí)，會(huì)啟動(dòng)調(diào)整，適當(dāng)提升「Think-off」模式的評(píng)估得分。
• 這一機(jī)制有效防止了模型通過「無腦」選擇冗長推理來獲取獎(jiǎng)勵(lì)的投機(jī)行為，確保了訓(xùn)練穩(wěn)定性，并維護(hù)了深度與效率之間的 intended balance。

3.混合優(yōu)勢(shì)函數(shù) —— 雙重監(jiān)督：HiPO 設(shè)計(jì)了兩個(gè)獨(dú)特的優(yōu)勢(shì)（Advantage）函數(shù)來提供更精細(xì)的指導(dǎo)信號(hào)：

• 評(píng)判優(yōu)勢(shì)（A_judge）：關(guān)注于模式選擇的合理性。它結(jié)合了「所選模式的全局平均優(yōu)勢(shì)」和「當(dāng)前響應(yīng)在其模式內(nèi)的相對(duì)質(zhì)量」，確保模型選擇某個(gè)思考模式的理由（即之前生成的 Justification）與其實(shí)際表現(xiàn)一致。
• 回答優(yōu)勢(shì)（A_answer）：聚焦于回答本身的質(zhì)量。它在同一思考模式內(nèi)進(jìn)行局部歸一化，鼓勵(lì)模型在既定模式下生成更好的回答，而不與模式選擇的偏好混淆。

最終，這兩個(gè)優(yōu)勢(shì)信號(hào)被分別賦予給回答中對(duì)應(yīng)的「理由」部分和「答案」部分的每個(gè)令牌，實(shí)現(xiàn)令牌級(jí)別的精細(xì)化優(yōu)化。整個(gè) RL 過程采用類似 PPO 的算法，在最大化期望獎(jiǎng)勵(lì)的同時(shí)，約束策略更新幅度，防止偏離太遠(yuǎn)。

實(shí)驗(yàn)結(jié)果：不僅更快，而且更準(zhǔn)

HiPO 在基于 Qwen3 系列模型（如 8B 參數(shù)版本）的實(shí)驗(yàn)中，取得了令人矚目的成果。在 AIME2024/2025、HumanEval、LiveCodeBench（v6）、MATH-500、GPQA-Diamond 等多個(gè)權(quán)威基準(zhǔn)測(cè)試上，與多種基線方法進(jìn)行了全面對(duì)比，并進(jìn)行了充分的消融實(shí)驗(yàn)。

• 顯著提升效率：與僅使用「Think-on」數(shù)據(jù)訓(xùn)練的模型相比，最終HiPO 模型在平均令牌長度上減少了 30%，思考率（RatioT）降低了 37%。這意味著模型在處理大量問題時(shí)，能智能地跳過不必要的推理，直接輸出答案，帶來了實(shí)實(shí)在在的成本和延遲收益。
• 同步提升準(zhǔn)確率：更令人驚喜的是，HiPO 在實(shí)現(xiàn)效率飛躍的同時(shí)，平均準(zhǔn)確率提升了 6.3%。這證明其自適應(yīng)機(jī)制不僅沒有損害性能，反而通過優(yōu)化決策，讓模型在難題上更「專注」地思考，在簡單題上更高效地回答，實(shí)現(xiàn)了雙贏。
• 超越現(xiàn)有方法：實(shí)驗(yàn)表明，HiPO 在準(zhǔn)確性和效率的綜合表現(xiàn)上，優(yōu)于 AdaptThink、AutoThink 等現(xiàn)有的自適應(yīng)推理方法。

動(dòng)態(tài)決策分析：研究團(tuán)隊(duì)還深入追蹤了模型在訓(xùn)練和推理過程中的行為演變。

• 如上圖 (a) 所示，隨著 RL 訓(xùn)練的進(jìn)行，模型激活「Think-on」和「Think-off」的頻率差距逐漸縮小，從初期的 89.5% 降至最終的 53.1%，說明模型確實(shí)學(xué)會(huì)了更精細(xì)地切換模式。
• 上圖 (b) 顯示，在不同數(shù)據(jù)集上，模型的思考模式激活率與任務(wù)特性高度相關(guān)。在 AIME2024、LiveCodeBench 等需要強(qiáng)推理的任務(wù)上，「Think-on」率始終保持在 70% 以上；而在 HumanEval 等相對(duì)簡單的代碼任務(wù)上，“Think-on” 率則隨訓(xùn)練明顯下降，體現(xiàn)了良好的任務(wù)適應(yīng)性。

• 上圖 (a) 和上圖 (b) 清晰地展示了 RL 訓(xùn)練過程中以及在不同數(shù)據(jù)集上，模型輸出令牌數(shù)量的持續(xù)下降趨勢(shì)，直觀反映了 HiPO 在提升效率方面的有效性。

強(qiáng)泛化性：HiPO 的成功不僅在 Qwen3-8B 上得到驗(yàn)證，在 Qwen3-1.7B 和 Qwen3-32B 等不同規(guī)模的模型上也展現(xiàn)出一致的性能提升，證明了其方法的普適性。

未來展望：HiPO 如何重塑高效 LLM 生態(tài)

HiPO 框架的提出，不僅僅是一項(xiàng)技術(shù)突破，更是為 LLM 的發(fā)展方向提供了一個(gè)重要的思路轉(zhuǎn)變：從一味追求「更強(qiáng)思考」到追求「更智能地思考」。

1. 推動(dòng) LLM 實(shí)用化落地：對(duì)于需要大規(guī)模部署 LLM 的應(yīng)用（如搜索引擎、智能客服、代碼助手），HiPO 能直接降低計(jì)算成本和響應(yīng)延遲，使高性能 LLM 服務(wù)變得更加「親民」。
2. 為模型輕量化提供新路徑：通過讓模型學(xué)會(huì)「停止思考」，可能在保持相當(dāng)性能的前提下，為模型壓縮和蒸餾開辟新的可能性。
3. 增強(qiáng)模型的「元認(rèn)知」能力：HiPO 訓(xùn)練模型對(duì)自身認(rèn)知過程進(jìn)行監(jiān)控和決策，這是向具備更高層次智能的 AI 系統(tǒng)邁出的重要一步。

結(jié)語

當(dāng)大語言模型陷入「為思考而思考」的認(rèn)知慣性時(shí)，其巨大的潛力被低效的運(yùn)作方式所束縛?？焓峙c南大團(tuán)隊(duì)的 HiPO 框架，如同一位高明的教練，不是粗暴地限制模型的「思考」，而是教會(huì)它判斷「何時(shí)該深思熟慮，何時(shí)可一擊即中」。

這項(xiàng)研究巧妙地平衡了推理的「質(zhì)」與「效」，為構(gòu)建真正高效、可靠、適用于真實(shí)世界的下一代人工智能助手奠定了堅(jiān)實(shí)的基礎(chǔ)。在 LLM 競(jìng)速發(fā)展的下半場(chǎng)，「智能效率」 或許將是比「暴力計(jì)算」更重要的決勝籌碼。

目前，HiPO 的相關(guān)模型和資源已在Hugging Face 平臺(tái)開源，供社區(qū)研究和使用。