溫度是大語言模型、文本生成、解碼策略、生成式人工智能和模型推理中非常常見的一個術語，它用來描述一種控制模型生成隨機性和多樣性的參數。換句話說，溫度是在回答：模型在生成下一個 token 時，是更傾向于選擇最穩妥的答案，還是允許更多變化和創造性。

如果說大語言模型在每一步生成時都會給出一組候選 token 的概率分布，那么溫度就是調節這個概率分布“尖銳”或“平滑”的旋鈕。溫度越低，模型越傾向于選擇高概率 token，輸出更穩定、更保守；溫度越高，低概率 token 也更容易被選中，輸出更隨機、更發散。

因此，溫度常用于文本生成、寫作助手、聊天機器人、代碼生成、創意生成、故事續寫、摘要生成和大語言模型 API 調用中，是理解模型輸出風格和穩定性的重要基礎概念。

一、基本概念：什么是溫度

溫度（Temperature）是控制生成模型采樣隨機性的參數。

圖 1：什么是溫度

在大語言模型中，模型并不是直接“想出一句話”，而是逐 token 生成文本。

每一步，模型都會根據已有上下文，為詞表中的候選 token 計算一個分數，然后轉換成概率分布。

例如，輸入：

人工智能正在

模型可能給出下一個 token 的概率：

其他：0.05

如果溫度較低，模型更可能選擇“改變”。

如果溫度較高，模型可能更容易選擇“發展”“影響”“推動”等其他候選。

從通俗角度看：溫度像一個“創意旋鈕”。

? 低溫：更穩、更確定、更少變化

? 高溫：更多樣、更隨機、更有創意，但也更容易跑偏

需要注意：溫度并不是控制模型“聰明程度”的參數。它主要控制的是生成時的隨機性，而不是模型本身的知識水平或推理能力。

二、為什么需要溫度

溫度之所以重要，是因為很多生成任務并不只有唯一答案。

例如，用戶要求：

請寫一句廣告語。

可能有許多合理回答。

如果模型每次都選擇概率最高的 token，輸出會更穩定，但也可能顯得單調、保守、缺少變化。

而在創意寫作、頭腦風暴、故事續寫、標題生成等任務中，用戶往往希望模型給出更多可能性。

溫度可以調節這種取舍。

1、需要穩定輸出時

在以下任務中，通常希望溫度較低：

? 事實問答

? 摘要

? 翻譯

? 代碼生成

? 數據抽取

? 格式化輸出

? 技術解釋

這些任務更看重準確、穩定和一致性。

2、需要多樣輸出時

在以下任務中，可以適當提高溫度：

? 創意寫作

? 廣告文案

? 故事續寫

? 角色對話

? 頭腦風暴

? 標題生成

? 多方案構思

這些任務更看重變化、靈感和表達多樣性。

從通俗角度看：溫度讓模型可以在“穩妥回答”和“發散生成”之間切換。

三、溫度如何改變概率分布

模型生成下一個 token 時，通常先得到一組 。

logits 可以理解為模型給每個候選 token 的原始分數。這些分數會經過 softmax 轉換成概率。

加入溫度后，常見形式為：

其中：

? p? 表示第 i 個 token 被選中的概率

? z? 表示第 i 個 token 的 logit 分數

? T 表示溫度參數

? ∑? 表示對所有候選 token 求和

? exp 表示指數函數

溫度 T 會改變概率分布的形狀。

圖 2：溫度如何影響概率分布

1、低溫：概率更集中

當 T < 1 時，較高 logit 的 token 會更加突出。概率分布會變得更尖銳。

也就是說，模型更傾向于選擇最高概率候選。

從通俗角度看：低溫會讓模型更“謹慎”。

2、高溫：概率更平滑

當 T > 1 時，不同 token 之間的概率差距會縮小。低概率 token 也有更大機會被采樣到。

從通俗角度看：高溫會讓模型更“大膽”。

3、溫度接近 0

當溫度非常接近 0 時，模型幾乎總是選擇概率最高的 token。

這接近 Greedy Decoding，也就是“貪心解碼”。

4、溫度過高

如果溫度過高，概率分布會過于平滑。

模型可能選擇很多原本概率較低的 token，導致輸出不穩定、跳躍、甚至不合邏輯。

因此，溫度不是越高越好。

四、低溫與高溫的區別

溫度的效果可以簡單概括為：

? 低溫：穩定、保守、重復性高

? 高溫：多樣、隨機、創造性強

1、低溫輸出

假設提示詞是：

請用一句話解釋機器學習。

低溫下，模型可能輸出：

機器學習是一種讓計算機從數據中學習規律并進行預測的方法。

這種回答穩定、清晰、常規。適合教材解釋、技術說明、事實回答等任務。

2、高溫輸出

同樣的提示詞，高溫下模型可能輸出：

機器學習就像讓計算機在大量例子中自己摸索規律，再把這些規律用于判斷新情況。

這種回答可能更生動，但也更不穩定。

如果溫度過高，甚至可能生成：

機器學習是一種讓數據自己開口說話的魔法。

這種表達有修辭效果，但不一定適合嚴肅技術文章。

3、選擇溫度的原則

可以按任務目標選擇：

? 準確優先：低溫

? 穩定輸出：低溫

? 格式嚴格：低溫

? 創意優先：中高溫

? 多方案探索：中高溫

從實踐角度看：很多事實性、技術性任務適合使用較低溫度；創意類任務可以適當提高溫度，但仍需避免過高導致失控。

五、溫度與 greedy、sampling、top-k、top-p 的關系

溫度不是唯一的解碼參數。它常常和 Greedy Decoding、Sampling、Top-k、Top-p 一起出現。

1、Greedy Decoding

Greedy Decoding 每一步都選擇概率最高的 token。

可以理解為：每一步只選最可能的結果。

它輸出穩定，但容易缺少變化，也可能陷入重復。

當溫度非常低時，采樣效果會接近 Greedy Decoding。

2、Sampling

Sampling 是按概率隨機采樣。

例如：

其他：0.05

sampling 不是永遠選“改變”，而是按照概率隨機選擇。溫度會影響這個概率分布。

3、Top-k

Top-k 會只保留概率最高的 k 個候選 token，再在其中采樣。

例如，k = 3 時，只在前三個候選中選擇。

從通俗角度看：Top-k 是先劃定一個固定大小的候選集合。

4、Top-p

Top-p 也稱 Nucleus Sampling，通常譯為“核采樣”。它會選擇累計概率達到 p 的最小候選集合。

例如，p = 0.9 表示只在累計概率前 90% 的候選 token 中采樣。

從通俗角度看：Top-p 是按概率質量動態決定候選集合大小。

5、它們如何配合

溫度負責改變概率分布的形狀。Top-k 和 top-p 負責限制候選 token 的范圍。

圖 3：溫度與解碼策略的關系

可以概括為：

? 溫度：改變概率分布的尖銳程度

? Top-k：只保留前 k 個候選

? Top-p：只保留累計概率達到 p 的候選集合

? Sampling：從候選中隨機選擇

在實際使用中，溫度通常會和 Top-p 或 Top-k 搭配使用。

六、溫度在不同任務中的設置建議

溫度沒有唯一標準值，需要根據任務目標調整。下面給出常見經驗范圍。

1、事實問答與技術解釋

適合較低溫度：

temperature：0.0 ～ 0.3

這類任務更重視準確、清晰和穩定。

例如：

? 解釋概念

? 回答事實問題

? 生成教材內容

? 技術文檔說明

? 數據分析報告

2、摘要、翻譯與信息抽取

也適合較低溫度：

temperature：0.0 ～ 0.4

因為這些任務通常要求忠實原文、減少發揮。

例如：

? 翻譯句子

? 總結文檔

? 提取字段

? 生成固定格式 JSON

3、普通對話與改寫

可使用中等溫度：

temperature：0.4 ～ 0.8

這類任務既需要自然表達，也不能太發散。

例如：

? 日常問答

? 語氣改寫

? 郵件潤色

? 普通寫作輔助

4、創意寫作與頭腦風暴

可以使用較高溫度：

temperature：0.8 ～ 1.2

這類任務更強調多樣性和靈感。

例如：

? 故事開頭

? 廣告語

? 標題創意

? 角色對話

? 多方案構思

5、過高溫度的風險

如果溫度過高，模型可能出現：

? 答案不穩定

? 邏輯跳躍

? 事實錯誤增加

? 格式不受控

? 出現奇怪表達

? 更容易偏離用戶要求

因此，對于嚴肅任務，不建議盲目提高溫度。

七、溫度的優勢、局限與使用注意事項

1、溫度的主要作用

溫度最大的作用是調節生成結果的穩定性和多樣性。它讓同一個模型可以適應不同任務風格。

例如：

? 寫技術解釋時更穩定

? 寫廣告語時更多樣

? 寫代碼時更保守

? 寫故事時更發散

從通俗角度看：溫度讓模型在“標準答案模式”和“創意探索模式”之間切換。

2、溫度的主要局限

溫度也有局限。

首先，溫度不能提升模型本身能力。

如果模型不知道某個事實，把溫度調低或調高都不能真正補足知識。

其次，溫度不能保證事實正確。

低溫可能讓模型更穩定，但如果最高概率答案本身是錯的，模型仍然會穩定地輸出錯誤。

再次，溫度不能替代檢索和工具。

對于最新信息、精確計算、文檔問答，仍然需要 RAG、搜索、數據庫或計算工具。

此外，不同模型對同一溫度的表現可能不同。

某個模型的 temperature = 0.7，未必等于另一個模型的 0.7。

3、使用溫度時需要注意的問題

使用溫度時，需要注意：

? 溫度控制隨機性，不控制知識正確性

? 低溫更穩定，但不保證一定正確

? 高溫更多樣，但更容易跑偏

? 技術解釋、摘要、翻譯適合低溫

? 創意寫作、頭腦風暴可適當提高溫度

? 溫度常與 Top-p、Top-k 一起使用

? 嚴格格式輸出時應降低溫度

? 同一提示詞在高溫下多次運行可能結果差異較大

? 不同模型的溫度效果可能不同

從實踐角度看，溫度是生成控制參數，不是質量保證參數。

八、溫度的常見誤解

誤解一：溫度越高，模型越聰明

不對。

溫度越高，模型只是更隨機、更發散，并不表示推理能力更強。

對于數學題、代碼題、事實問答，過高溫度反而可能降低可靠性。

誤解二：溫度越低，答案一定越正確

也不對。

低溫讓模型更穩定地選擇高概率答案，但高概率答案未必一定正確。

如果模型內部知識錯誤或上下文不足，低溫仍可能輸出錯誤答案。

誤解三：temperature = 0 就完全沒有隨機性

不一定。

在一些系統實現中，即使 temperature 設置為 0，也可能因為底層實現、并行計算、候選并列、工具調用或系統策略產生輕微差異。

但從概念上說，temperature 越接近 0，輸出越確定。

誤解四：所有任務都應該用同一個溫度

不對。

不同任務目標不同。

例如，寫法律條款摘要和寫科幻故事，顯然不應使用同樣的生成隨機性。

九、Python 示例

下面給出幾個簡單示例，用來幫助理解溫度如何影響概率分布和采樣結果。

示例 1：不同溫度下的概率分布

一般會看到：

? temperature = 0.5 時，最高分 token 概率更突出

? temperature = 1.0 時，保持原始 softmax 效果

? temperature = 2.0 時，分布更平滑

示例 2：溫度采樣

這個例子中：

? 溫度較低時，更容易采樣到“改變”

? 溫度較高時，其他 token 被采樣到的概率增加

示例 3：多次采樣觀察輸出差異

通常會看到：

? 低溫結果更集中

? 高溫結果更分散

這說明溫度會影響生成的穩定性和多樣性。

示例 4：temperature 接近 greedy 的情況

當 temperature 很低時，最高概率 token 會占據絕大部分概率。這時生成效果接近每次都選擇最高概率 token。

示例 5：溫度與 top-k 的簡單結合

這個例子說明：

? Top-k 先限制候選范圍

? temperature 再調節候選內部的概率分布

二者可以配合控制生成結果。

小結

溫度是大語言模型生成時用于控制隨機性和多樣性的參數。低溫會讓概率分布更集中，輸出更穩定、更保守；高溫會讓概率分布更平滑，輸出更多樣、更發散。溫度不能提升模型知識或保證事實正確，它只是調節解碼時的采樣行為。對初學者而言，可以把溫度理解為：控制模型生成時“穩一點”還是“放開一點”的旋鈕。

“點贊有美意，贊賞是鼓勵”