PyTorch 的 torch 模塊，是整個 PyTorch 框架中最基礎(chǔ)、最核心的模塊。它提供了張量創(chuàng)建、張量運算、形狀變換、索引切片、數(shù)據(jù)類型轉(zhuǎn)換、設(shè)備遷移、隨機數(shù)生成、保存與加載等基礎(chǔ)能力。

簡單地說，torch 模塊回答的是：數(shù)據(jù)在 PyTorch 中如何表示、如何計算、如何移動到 GPU 上，以及如何作為模型的輸入、輸出和參數(shù)參與訓(xùn)練。

在 PyTorch 中，最重要的數(shù)據(jù)結(jié)構(gòu)是張量（Tensor）。輸入數(shù)據(jù)、模型參數(shù)、中間激活值、損失值和梯度，通常都以張量形式存在。因此，學(xué)習(xí) PyTorch 的第一步，不是直接編寫復(fù)雜神經(jīng)網(wǎng)絡(luò)，而是理解張量與基礎(chǔ)計算。

一、認識 torch 模塊

torch 是 PyTorch 中最常用的基礎(chǔ)模塊。它既可以創(chuàng)建張量，也可以對張量進行數(shù)學(xué)運算、形狀調(diào)整、數(shù)據(jù)類型轉(zhuǎn)換和設(shè)備管理。

一個最基本的使用方式如下：

輸出結(jié)果類似：

可以簡單理解為：torch 模塊不是專門用來定義神經(jīng)網(wǎng)絡(luò)的模塊，而是 PyTorch 的基礎(chǔ)計算層。

后面學(xué)習(xí)的許多內(nèi)容，都會建立在 torch 模塊之上：

? 神經(jīng)網(wǎng)絡(luò)層會用張量表示模型參數(shù)和中間計算結(jié)果

? 自動求導(dǎo)機制會根據(jù)張量運算過程計算梯度

? 優(yōu)化器會根據(jù)張量梯度更新模型參數(shù)

? 數(shù)據(jù)加載器讀取出來的數(shù)據(jù)通常也會被組織為張量

因此，torch 模塊是理解 PyTorch 的入口。

二、什么是張量

張量（Tensor）可以看作是多維數(shù)組。根據(jù)維度不同，張量可以表示標(biāo)量、向量、矩陣和更高維的數(shù)據(jù)。

圖 1：PyTorch 張量的維度

例如：

輸出結(jié)果類似：

torch.Size([2, 3, 4])

在深度學(xué)習(xí)中，張量不只是“數(shù)學(xué)對象”，也是數(shù)據(jù)在程序中的主要表示方式。

例如，在圖像任務(wù)中，一個常見輸入張量形狀是：

(batch_size, channels, height, width)

對應(yīng)代碼可以寫成：

這里：

? 32 表示一批中有 32 張圖像

? 3 表示 RGB 三個顏色通道

? 224 表示圖像高度

? 224 表示圖像寬度

理解張量形狀，是學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)、圖像分類、目標(biāo)檢測和視覺模型的基礎(chǔ)。

三、創(chuàng)建張量的常用方式

PyTorch 提供了多種創(chuàng)建張量的方法。

1、使用 torch.tensor() 創(chuàng)建張量

最直接的方式是使用 torch.tensor()：

輸出結(jié)果類似：

        [3., 4.]])

torch.tensor() 會根據(jù)輸入數(shù)據(jù)自動推斷數(shù)據(jù)類型。例如，輸入整數(shù)時通常得到整數(shù)張量，輸入浮點數(shù)時通常得到浮點張量。

如果希望明確控制數(shù)據(jù)類型，可以直接指定 dtype：

輸出結(jié)果類似：

torch.float32

在深度學(xué)習(xí)中，輸入特征通常使用浮點張量；分類標(biāo)簽通常使用整數(shù)張量。數(shù)據(jù)類型如果不符合函數(shù)要求，程序可能會報錯，或者得到不符合預(yù)期的結(jié)果。

2、創(chuàng)建全 0、全 1 和未初始化張量

需要注意的是，torch.empty() 只是分配內(nèi)存，并不會把里面的數(shù)值初始化為 0。因此，它輸出的內(nèi)容可能看起來像隨機值，但這些值只是內(nèi)存中原有的數(shù)據(jù)。

在初學(xué)階段，如果沒有特殊需求，通常更建議使用 zeros()、ones() 或隨機初始化函數(shù)，而不是直接使用 empty()。

3、創(chuàng)建隨機張量

隨機張量常用于參數(shù)初始化、模擬輸入數(shù)據(jù)、構(gòu)造測試樣本和調(diào)試模型流程。

例如，構(gòu)造一批模擬輸入數(shù)據(jù)和類別標(biāo)簽：

這類寫法常用于教學(xué)示例和模型調(diào)試。它可以在沒有真實數(shù)據(jù)的情況下，先檢查模型結(jié)構(gòu)、輸入輸出形狀和訓(xùn)練流程是否能夠正常運行。

4、創(chuàng)建數(shù)值序列張量

這類函數(shù)常用于構(gòu)造坐標(biāo)、時間步、測試數(shù)據(jù)或繪圖數(shù)據(jù)。

5、根據(jù)已有張量創(chuàng)建新張量

這類函數(shù)的好處是不用手動寫形狀，能減少形狀不一致帶來的錯誤。尤其是在模型內(nèi)部創(chuàng)建與輸入同形狀的掩碼、噪聲或中間變量時，非常方便。

四、查看張量的基本屬性

創(chuàng)建張量之后，通常需要查看它的形狀、維度、元素數(shù)量、數(shù)據(jù)類型和所在設(shè)備。

在調(diào)試 PyTorch 代碼時，shape、dtype 和 device 是最常檢查的三個信息。

五、張量的數(shù)據(jù)類型

張量中的元素必須有明確的數(shù)據(jù)類型。常見數(shù)據(jù)類型包括：

? torch.float32：32 位浮點數(shù)，深度學(xué)習(xí)中最常用

? torch.float64：64 位浮點數(shù)，精度更高，但計算開銷更大

? torch.float16：16 位浮點數(shù)，常用于混合精度訓(xùn)練

? torch.bfloat16：常用于深度學(xué)習(xí)加速的低精度格式

? torch.int64：64 位整數(shù)，分類標(biāo)簽中很常見

? torch.int32：32 位整數(shù)

? torch.bool：布爾類型

可以在創(chuàng)建張量時指定類型：

也可以使用 .to() 改變數(shù)據(jù)類型：

在深度學(xué)習(xí)任務(wù)中，數(shù)據(jù)類型不僅影響計算效率，也影響函數(shù)能否正常運行。

例如，在多分類任務(wù)中，模型輸出通常是浮點張量，而類別標(biāo)簽通常是整數(shù)張量：

如果把標(biāo)簽錯誤地處理成浮點類型或錯誤形狀，某些損失函數(shù)可能無法按預(yù)期工作。

六、張量的形狀變換

張量形狀變換是 PyTorch 中非常常見的操作。模型輸入、卷積輸出、全連接層輸入、序列數(shù)據(jù)重排，都離不開形狀變換。

圖 2：PyTorch 張量形狀變換

1、reshape()：改變張量形狀

形狀變換有一個基本前提：元素總數(shù)不能改變。上面例子中，原張量有 12 個元素，新形狀 (3, 4) 也需要 12 個元素。

也可以使用 -1 讓 PyTorch 自動推斷某一維：

-1 很適合在不想手動計算某一維大小時使用。但一個形狀中通常只能有一個 -1，否則無法確定唯一結(jié)果。

2、view()：以視圖方式改變形狀

view() 與 reshape() 很相似，但 view() 對張量在內(nèi)存中的連續(xù)性更敏感。如果張量不是連續(xù)存儲的，view() 可能會報錯。

在初學(xué)階段，可以優(yōu)先使用 reshape()。等到需要更深入理解內(nèi)存布局和性能優(yōu)化時，再仔細區(qū)分 view() 與 reshape()。

3、unsqueeze() 與 squeeze()：增加或刪除長度為 1 的維度

squeeze() 用于刪除長度為 1 的維度：

這類操作常用于處理批次維度、通道維度和模型輸出維度。

例如，一個單獨樣本的特征向量形狀是 (4,)，但模型可能希望輸入形狀是 (1, 4)，此時就可以使用：

x = x.unsqueeze(0)

這里增加的第 0 維，通常表示“批次維度”。

4、transpose() 與 permute()：交換維度

permute() 可以重新排列多個維度：

在圖像任務(wù)中，維度順序非常重要。很多圖像數(shù)據(jù)默認是 (N, H, W, C)，而 PyTorch 卷積網(wǎng)絡(luò)通常使用 (N, C, H, W)。這時應(yīng)使用 permute() 調(diào)整維度順序，而不是使用 reshape() 強行改變形狀。

5、flatten()：展平張量

這里：

? 原始張量表示 32 張圖像

? 每張圖像形狀為 3 × 28 × 28

? 展平后，每個樣本變成長度為 2352 的向量

這類操作常用于卷積層之后、全連接層之前。需要注意的是，第 0 維通常是批次維度，不能隨意一起展平，否則會把不同樣本混在一起。

七、張量的基礎(chǔ)數(shù)學(xué)運算

torch 模塊提供了大量數(shù)學(xué)運算。常見運算包括逐元素運算、數(shù)學(xué)函數(shù)、聚合運算和矩陣乘法。

1、逐元素運算

逐元素運算要求兩個張量的形狀相同，或者能夠通過廣播機制對齊。否則，程序會因為形狀不匹配而報錯。

2、常用數(shù)學(xué)函數(shù)

這些函數(shù)通常會對張量中的每個元素分別計算。

例如，torch.clamp() 可以把數(shù)值限制在指定范圍內(nèi)：

torch.clamp() 常用于限制數(shù)值范圍，在數(shù)值穩(wěn)定性處理中很常見。

3、聚合運算

也可以沿指定維度聚合：

在深度學(xué)習(xí)中，dim 參數(shù)非常重要。例如，對類別維度做歸一化、對批次維度求平均、對空間維度做池化，都需要明確指定維度。

如果 dim 寫錯，代碼可能不會報錯，但計算含義會完全改變。

4、矩陣乘法

是神經(jīng)網(wǎng)絡(luò)計算的基礎(chǔ)。

也可以使用 @ 運算符：

C = A @ B

在全連接層中，核心計算可以簡單理解為：

Y = X @ W + b

其中：

? X 是輸入特征矩陣

? W 是權(quán)重矩陣

? b 是偏置

? Y 是輸出結(jié)果

這也是后續(xù)理解 nn.Linear 的基礎(chǔ)。

八、廣播機制

廣播（Broadcasting）允許不同形狀的張量在滿足規(guī)則時進行運算。它可以減少手動復(fù)制數(shù)據(jù)的需求。

例如：

輸出結(jié)果類似：

        [14., 25., 36.]])

這里：

? x 的形狀是 (2, 3)

? b 的形狀是 (3,)

? b 會自動擴展到每一行，與 x 相加

廣播機制常見于：

? 給每個樣本加同一個偏置

? 對每一列做標(biāo)準(zhǔn)化

? 對批量數(shù)據(jù)應(yīng)用同一組參數(shù)

? 在注意力機制中對齊不同維度

? 在損失計算中自動匹配形狀

例如，按列標(biāo)準(zhǔn)化可以寫成：

廣播非常方便，但也容易造成隱蔽錯誤。尤其當(dāng)張量形狀剛好“可以廣播”，但并不是你想要的廣播方式時，代碼可能不會報錯，卻會得到錯誤結(jié)果。

因此，涉及廣播時，要特別關(guān)注每個張量的形狀。

九、索引與切片

張量支持類似 Python 列表的索引方式。

索引與切片常用于選取樣本、選取特征、截取序列和構(gòu)造子張量。

也可以使用布爾索引：

輸出結(jié)果類似：

tensor([5, 8])

布爾索引常用于篩選滿足條件的元素，例如：

? 篩選大于某個閾值的預(yù)測結(jié)果

? 篩選有效標(biāo)簽

? 篩選非零元素

? 構(gòu)造掩碼張量

例如：

布爾索引寫法很直觀，但要注意：布爾掩碼的形狀通常需要與被篩選張量的相關(guān)維度匹配。

十、拼接與堆疊

在數(shù)據(jù)處理和模型計算中，經(jīng)常需要把多個張量合并起來。最常見的兩個函數(shù)是 torch.cat() 和 torch.stack()。

1、cat()：沿已有維度拼接

可以簡單理解為：

? dim=0 常對應(yīng)“增加樣本數(shù)量”

? dim=1 常對應(yīng)“增加特征數(shù)量”

使用 cat() 時，除了拼接的那個維度，其他維度通常必須一致。

2、stack()：沿新維度堆疊

輸出結(jié)果類似：

torch.Size([3, 2])

可以簡單理解為：

? cat() 是在已有維度上接起來

? stack() 是先增加一個新維度，再把張量放進去

例如，把多張單獨圖像合成一個批次時，常常可以使用 stack()。

十一、CPU、GPU 與設(shè)備遷移

PyTorch 張量可以運行在 CPU、GPU 或其他計算設(shè)備上。默認情況下，張量通常創(chuàng)建在 CPU 上。

可以查看張量所在設(shè)備：

輸出結(jié)果通常是：

cpu

如果有可用的 GPU，可以寫成：

如果使用支持相關(guān)加速后端的 Apple 設(shè)備，也可以寫成：

需要注意的是，參與同一次計算的張量通常必須在同一個設(shè)備上。

例如：

正確做法是把相關(guān)張量移動到同一設(shè)備：

在真實訓(xùn)練中，模型和數(shù)據(jù)也要放在同一設(shè)備上：

這是 PyTorch 初學(xué)者非常容易遇到的問題之一。如果看到類似“設(shè)備不一致”的報錯，首先應(yīng)檢查模型參數(shù)、輸入數(shù)據(jù)和標(biāo)簽是否都在同一個設(shè)備上。

十二、與 NumPy 的相互轉(zhuǎn)換

PyTorch 張量和 NumPy 數(shù)組可以相互轉(zhuǎn)換。在數(shù)據(jù)處理、繪圖和模型推理結(jié)果分析時，這一點很常用。

1、NumPy 數(shù)組轉(zhuǎn)張量

需要注意的是，torch.from_numpy() 創(chuàng)建的張量通常與原 NumPy 數(shù)組共享底層數(shù)據(jù)：

這說明修改 NumPy 數(shù)組后，張量也發(fā)生了變化。在需要避免相互影響時，可以額外復(fù)制數(shù)據(jù)。

2、張量轉(zhuǎn) NumPy 數(shù)組

通常只有 CPU 上的張量才能直接轉(zhuǎn)換為 NumPy 數(shù)組。如果張量在 GPU 上，需要先移動到 CPU：

這在模型推理結(jié)果轉(zhuǎn)換為普通數(shù)組時非常常見。例如，模型預(yù)測結(jié)果通常先是張量，如果要進一步繪圖、保存或交給其他數(shù)據(jù)分析代碼處理，就可能需要轉(zhuǎn)換為 NumPy 數(shù)組。

十三、隨機數(shù)與可復(fù)現(xiàn)實驗

深度學(xué)習(xí)中很多過程具有隨機性，例如參數(shù)初始化、數(shù)據(jù)打亂、隨機增強和 Dropout 等。為了讓實驗結(jié)果盡量可復(fù)現(xiàn)，通常會設(shè)置隨機種子。

兩次生成的結(jié)果通常相同?？梢院唵卫斫鉃椋?/p>

? 隨機種子控制隨機數(shù)生成的起點

? 相同隨機種子通常會產(chǎn)生相同隨機序列

? 可復(fù)現(xiàn)實驗需要盡量控制隨機性來源

在入門階段，先理解 torch.manual_seed() 的作用即可。實際工程中，還可能需要同時控制數(shù)據(jù)加載、多進程、GPU 算子等因素。

十四、保存與加載張量

torch.save() 和 torch.load() 可以保存與加載張量或其他 PyTorch 對象。

這類操作可以用于：

? 保存中間計算結(jié)果

? 保存處理后的訓(xùn)練數(shù)據(jù)

? 保存模型參數(shù)

? 加載已有實驗結(jié)果

在模型訓(xùn)練中，更常見的是保存模型參數(shù)：

加載時可以寫成：

不過，模型保存與加載屬于更完整的模型工程主題。對于本文來說，只需要先知道：torch 模塊已經(jīng)提供了基礎(chǔ)的保存與加載能力。

十五、一個完整示例：用 torch 完成基礎(chǔ)線性計算

下面用一個簡單例子說明 torch 模塊如何完成基礎(chǔ)計算。我們構(gòu)造輸入矩陣 X、權(quán)重矩陣 W 和偏置 b，計算線性輸出。

圖 3：PyTorch 基礎(chǔ)計算流程

這里最值得關(guān)注的是形狀關(guān)系：

? X 的形狀是 (5, 3)

? W 的形狀是 (3, 2)

? X @ W 的形狀是 (5, 2)

? b 的形狀是 (2,)，會通過廣播加到每一行

? 最終輸出 Y 的形狀是 (5, 2)

這個例子已經(jīng)接近神經(jīng)網(wǎng)絡(luò)中全連接層的核心計算。后續(xù)使用 nn.Linear 時，底層思想與此類似，只是參數(shù)管理、自動求導(dǎo)和模塊封裝由 PyTorch 自動完成。

十六、使用 torch 模塊時應(yīng)注意的問題

1、先看形狀，再看數(shù)值

很多 PyTorch 錯誤首先是形狀錯誤，而不是算法錯誤。

例如：

矩陣乘法要求前一個矩陣的列數(shù)等于后一個矩陣的行數(shù)。這里 A 是 (2, 3)，B 是 (4, 5)，中間維度 3 和 4 不一致，因此不能相乘。

調(diào)試時可以多打?。?/p>

這三個信息往往能幫助快速定位問題。

2、注意數(shù)據(jù)類型是否符合函數(shù)要求

有些函數(shù)要求輸入是浮點張量，有些函數(shù)要求標(biāo)簽是整數(shù)張量。

例如：

如果把標(biāo)簽錯誤地處理成浮點類型或錯誤形狀，某些損失函數(shù)可能無法按預(yù)期工作。

因此，在訓(xùn)練代碼出錯時，不要只檢查形狀，也要檢查 dtype。

3、注意張量是否在同一設(shè)備

CPU 張量和 GPU 張量不能隨意直接混合計算。常見錯誤是模型在 GPU 上，而輸入數(shù)據(jù)仍在 CPU 上。

推薦寫法是統(tǒng)一使用 device：

這樣可以減少設(shè)備不一致導(dǎo)致的錯誤。

4、區(qū)分 reshape、view、permute 的作用

這幾個函數(shù)都與形狀有關(guān)，但含義不同：

? reshape()：改變形狀，常用且方便

? view()：返回共享數(shù)據(jù)的新形狀視圖，對內(nèi)存連續(xù)性更敏感

? permute()：重新排列維度順序

? transpose()：交換兩個維度

? flatten()：展平多個維度

例如，圖像張量從 (N, H, W, C) 轉(zhuǎn)為 (N, C, H, W)，應(yīng)使用 permute()，而不是簡單使用 reshape()。

reshape() 改變的是“如何看待這批元素的形狀”，而 permute() 改變的是“維度順序”。兩者不能混用。

5、理解廣播，而不是濫用廣播

廣播可以讓代碼更簡潔，但也可能讓錯誤更隱蔽。

例如，一個張量形狀是 (100, 4)，另一個張量形狀是 (4,)，它們相加通常是合理的，因為 (4,) 可以看作對每個樣本的 4 個特征分別加偏置。

但如果本來想對每個樣本加不同的數(shù)，卻誤寫成了 (4,)，代碼可能仍然能運行，但含義已經(jīng)錯了。

因此，使用廣播時應(yīng)先問清楚：

? 哪個維度表示樣本？

? 哪個維度表示特征？

? 哪個張量會被自動擴展？

? 擴展方向是否符合預(yù)期？

6、不要把 torch 模塊只理解為“創(chuàng)建數(shù)組”

torch 模塊不僅是創(chuàng)建數(shù)組的工具。它是 PyTorch 的基礎(chǔ)計算層，承擔(dān)了張量表示、數(shù)學(xué)運算、設(shè)備管理、隨機數(shù)、保存加載等多種職責(zé)。

在后續(xù)學(xué)習(xí)中：

? 神經(jīng)網(wǎng)絡(luò)層會基于張量進行計算

? 自動求導(dǎo)會跟蹤張量運算過程

? 優(yōu)化器會根據(jù)張量梯度更新參數(shù)

? 數(shù)據(jù)加載器會把數(shù)據(jù)組織成批量張量

因此，理解 torch 模塊，是理解整個 PyTorch 的基礎(chǔ)。

小結(jié)

PyTorch 的 torch 模塊負責(zé)張量表示與基礎(chǔ)計算，是整個框架的底層入口。學(xué)習(xí)這一模塊，重點不只是記住函數(shù)名稱，而是理解張量的形狀、數(shù)據(jù)類型、設(shè)備、運算規(guī)則和廣播機制。掌握這些內(nèi)容，才能更順利地學(xué)習(xí)自動求導(dǎo)、神經(jīng)網(wǎng)絡(luò)建模和完整訓(xùn)練流程。

“點贊有美意，贊賞是鼓勵”