U-Net 是深度學(xué)習(xí)、卷積神經(jīng)網(wǎng)絡(luò)、圖像分割、醫(yī)學(xué)影像分析和計(jì)算機(jī)視覺中非常經(jīng)典的一個(gè)模型結(jié)構(gòu)。它用來描述一種以“編碼器—解碼器”為主體、并通過跳躍連接保留細(xì)節(jié)信息的卷積神經(jīng)網(wǎng)絡(luò)。換句話說，U-Net 是在回答：模型怎樣既理解圖像的整體語義，又盡量恢復(fù)每個(gè)像素位置的精細(xì)邊界。

如果說普通圖像分類模型主要回答“這張圖是什么”，那么 U-Net 更關(guān)注“圖像中每個(gè)位置屬于什么”。它不是只輸出一個(gè)類別，而是輸出一張與輸入圖像空間位置對應(yīng)的預(yù)測圖，用于判斷每個(gè)像素或區(qū)域的類別。

因此，U-Net 常用于醫(yī)學(xué)圖像分割、遙感圖像分析、缺陷檢測、細(xì)胞分割、道路提取、語義分割、擴(kuò)散模型中的噪聲預(yù)測網(wǎng)絡(luò)等任務(wù)，是理解圖像分割和編碼器—解碼器結(jié)構(gòu)的重要基礎(chǔ)概念。

一、基本概念：什么是 U-Net

U-Net 是一種典型的圖像到圖像模型結(jié)構(gòu)。它的輸入通常是一張圖像，輸出通常是一張分割結(jié)果圖。

例如，在醫(yī)學(xué)影像中：

? 輸入：一張 CT / MRI / 顯微圖像

? 輸出：每個(gè)像素屬于器官、病灶、細(xì)胞或背景的預(yù)測結(jié)果

U-Net 的名稱來自它的整體結(jié)構(gòu)形狀。它通常由兩部分組成：

? 左側(cè)編碼器：逐步壓縮圖像，提取高層語義特征

? 右側(cè)解碼器：逐步恢復(fù)空間尺寸，生成像素級預(yù)測結(jié)果

中間還通過跳躍連接，把編碼器中的淺層細(xì)節(jié)特征傳給解碼器。

從結(jié)構(gòu)上看，它像一個(gè) U 形：

輸出分割圖

從通俗角度看：U-Net 像一個(gè)先“縮小看整體”、再“放大找邊界”的圖像理解模型。

它先通過編碼器理解圖像中有什么，再通過解碼器把這種理解恢復(fù)到每個(gè)像素位置。

二、為什么需要 U-Net

U-Net 之所以重要，是因?yàn)閳D像分割任務(wù)不同于圖像分類任務(wù)。

圖像分類只需要判斷整張圖的類別，例如：

這張圖是貓，還是狗？

而圖像分割需要判斷每個(gè)像素的類別，例如：

哪些像素屬于器官、病灶或道路？

這類任務(wù)對模型提出了兩個(gè)要求：

? 需要理解全局語義

? 需要保留局部細(xì)節(jié)

如果模型只關(guān)注局部紋理，可能無法判斷某個(gè)區(qū)域?qū)儆谑裁磳ο蟆?/p>

如果模型只關(guān)注高層語義，經(jīng)過多次下采樣后，又容易丟失邊緣、輪廓和小目標(biāo)細(xì)節(jié)。

U-Net 的價(jià)值就在于同時(shí)處理這兩件事：

? 編碼器負(fù)責(zé)提取語義信息

? 解碼器負(fù)責(zé)恢復(fù)空間分辨率

? 跳躍連接負(fù)責(zé)補(bǔ)回細(xì)節(jié)信息

從通俗角度看：圖像分割既要“看懂圖像內(nèi)容”，又要“畫準(zhǔn)對象邊界”。U-Net 正是為這種需求設(shè)計(jì)的結(jié)構(gòu)。

這也是為什么 U-Net 在醫(yī)學(xué)圖像分割中非常經(jīng)典。

醫(yī)學(xué)影像中，病灶、細(xì)胞、血管等目標(biāo)可能很小，邊界也很重要。U-Net 通過跳躍連接保留淺層空間細(xì)節(jié)，因此適合這類像素級預(yù)測任務(wù)。

三、U-Net 的整體結(jié)構(gòu)

U-Net 的整體結(jié)構(gòu)可以概括為三部分：

編碼器 → 瓶頸層 → 解碼器

同時(shí)，編碼器和解碼器之間有多條跳躍連接。

圖 1：U-Net 整體結(jié)構(gòu)示意圖

1、編碼器：逐步提取語義特征

編碼器位于 U-Net 的左側(cè)。它通常由多組卷積層和下采樣操作組成。

常見形式是：

卷積 → 激活函數(shù) → 卷積 → 激活函數(shù) → 下采樣

隨著網(wǎng)絡(luò)逐層深入，特征圖的空間尺寸逐漸變小，通道數(shù)通常逐漸增加。

例如：

特征圖：16 × 16 × 512

從通俗角度看：編碼器不斷壓縮圖像，把局部像素信息逐步變成更抽象的語義信息。

2、瓶頸層：壓縮后的高層表示

瓶頸層位于 U-Net 的底部。它連接編碼器和解碼器，是空間尺寸較小、語義信息較強(qiáng)的部分。

從通俗角度看：瓶頸層像是模型對整張圖像的高度概括。它知道圖像中大致有什么，但空間細(xì)節(jié)已經(jīng)被壓縮。

3、解碼器：逐步恢復(fù)空間尺寸

解碼器位于 U-Net 的右側(cè)。它通過上采樣或轉(zhuǎn)置卷積逐步恢復(fù)特征圖尺寸。

常見形式是：

上采樣 → 拼接跳躍連接特征 → 卷積 → 激活函數(shù)

例如：

256 × 256 × 類別數(shù)

從通俗角度看：解碼器把壓縮后的語義信息重新展開，使模型能夠?yàn)槊總€(gè)像素生成預(yù)測結(jié)果。

四、跳躍連接：U-Net 的關(guān)鍵設(shè)計(jì)

跳躍連接是 U-Net 最重要的結(jié)構(gòu)特點(diǎn)之一。它會把編碼器中某一層的特征，直接傳給解碼器中對應(yīng)尺度的層。

例如：

解碼器中的 128 × 128 特征

這樣做的原因是：編碼器在下采樣過程中會丟失一部分空間細(xì)節(jié)，例如邊界、紋理和小目標(biāo)位置。

解碼器雖然可以恢復(fù)空間尺寸，但如果只依賴瓶頸層中的高層語義信息，細(xì)節(jié)可能不夠準(zhǔn)確。

跳躍連接可以把淺層特征直接補(bǔ)給解碼器。

從通俗角度看：編碼器像是在不斷壓縮圖像。壓縮后雖然理解了整體內(nèi)容，但細(xì)節(jié)丟了。跳躍連接就像把壓縮前的局部細(xì)節(jié)“備份”下來，在恢復(fù)圖像時(shí)再拿出來使用。

在 U-Net 中，跳躍連接通常使用拼接（concatenate），而不是簡單相加。

如果解碼器某層特征為 A，編碼器對應(yīng)層特征為 B，那么拼接后可以寫為：

其中：

? F 表示拼接后的特征

? A 表示解碼器當(dāng)前特征

? B 表示來自編碼器的同尺度特征

? Concat 表示沿通道維度拼接

例如：

拼接后特征：64 × 64 × 256

跳躍連接讓 U-Net 同時(shí)擁有：

? 深層語義信息

? 淺層空間細(xì)節(jié)

這正是它適合圖像分割的重要原因。

五、U-Net 的輸出：像素級預(yù)測

U-Net 的輸出通常是一張預(yù)測圖。

圖 2：U-Net 中跳躍連接與像素級預(yù)測

如果是二分類分割，例如前景 / 背景，輸出可以是：

H × W × 1

表示每個(gè)像素屬于前景的概率。

如果是多類別分割，輸出可以是：

H × W × C

其中 C 表示類別數(shù)。

例如，有 4 類：

背景 / 器官 / 病灶 / 其他組織

那么每個(gè)像素位置都會輸出 4 個(gè)類別分?jǐn)?shù)。

對于輸入圖像：

U-Net 的輸出可以寫為：

其中：

? X 表示輸入圖像

? H 表示圖像高度

? W 表示圖像寬度

? C_in 表示輸入通道數(shù)

? Y 表示輸出預(yù)測圖

? C_out 表示輸出類別數(shù)

對于每個(gè)像素位置，模型會預(yù)測它屬于某個(gè)類別的概率。

二分類分割中常使用 Sigmoid：

其中：

? p?? 表示位置 (i, j) 屬于前景的概率

? z?? 表示該位置的模型輸出分?jǐn)?shù)

? σ 表示 Sigmoid 函數(shù)

多類別分割中常使用 Softmax：

其中：

? p??c 表示位置 (i, j) 屬于第 c 類的概率

? z??c 表示該位置第 c 類的輸出分?jǐn)?shù)

? C 表示類別總數(shù)

從通俗角度看：U-Net 不是只給整張圖一個(gè)答案，而是給每個(gè)像素位置一個(gè)答案。

六、U-Net 與圖像分割任務(wù)

U-Net 最經(jīng)典的應(yīng)用是圖像分割。

圖像分割可以大致分為幾類。

1、語義分割

語義分割是給每個(gè)像素分配語義類別。

例如：

天空 / 道路 / 建筑 / 車輛 / 行人

語義分割不區(qū)分同一類別中的不同個(gè)體。

如果圖中有兩輛車，它們都被標(biāo)成“車”。

2、醫(yī)學(xué)圖像分割

醫(yī)學(xué)圖像分割是 U-Net 最重要的應(yīng)用場景之一。

常見任務(wù)包括：

? 器官分割

? 腫瘤分割

? 細(xì)胞分割

? 血管分割

? 病灶區(qū)域檢測

醫(yī)學(xué)圖像分割常常樣本數(shù)量有限，但對邊界精度要求較高。

U-Net 的編碼器—解碼器結(jié)構(gòu)和跳躍連接設(shè)計(jì)，正好適合這類任務(wù)。

3、實(shí)例分割與相關(guān)任務(wù)

嚴(yán)格來說，標(biāo)準(zhǔn) U-Net 更常用于語義分割或二值分割。

實(shí)例分割不僅要判斷像素類別，還要區(qū)分不同個(gè)體。

例如，兩輛車不能只都標(biāo)成“車”，還要區(qū)分車 1 和車 2。

實(shí)例分割通常需要更復(fù)雜的結(jié)構(gòu)或后處理方法。

不過，在細(xì)胞分割、目標(biāo)區(qū)域提取等任務(wù)中，U-Net 也經(jīng)常作為基礎(chǔ)分割網(wǎng)絡(luò)使用。

七、U-Net 與普通編碼器—解碼器的區(qū)別

U-Net 屬于編碼器—解碼器結(jié)構(gòu)，但它不是普通的編碼器—解碼器。

普通編碼器—解碼器通常是：

輸入 → 編碼器 → 壓縮表示 → 解碼器 → 輸出

它的問題是：中間壓縮表示可能丟失大量空間細(xì)節(jié)。

U-Net 在此基礎(chǔ)上加入了跳躍連接：

編碼器淺層特征 → 跳躍連接 → 解碼器對應(yīng)層

這使得解碼器不必只依賴最底部的壓縮特征。

從通俗角度看：普通編碼器—解碼器像是先把圖像壓縮成一段摘要，再根據(jù)摘要重建結(jié)果。U-Net 則是在重建時(shí)還參考了不同層級的原始細(xì)節(jié)筆記。

因此，U-Net 更適合需要精細(xì)定位的任務(wù)。

可以概括為：

? 普通編碼器—解碼器：重語義，容易丟細(xì)節(jié)

? U-Net：語義 + 細(xì)節(jié)，適合像素級預(yù)測

這也是 U-Net 在分割任務(wù)中長期有效的核心原因。

八、U-Net 的優(yōu)勢、局限與使用注意事項(xiàng)

1、U-Net 的主要優(yōu)勢

U-Net 最大的優(yōu)勢是適合像素級預(yù)測。

它可以輸出與輸入圖像位置對應(yīng)的分割圖，適合圖像分割任務(wù)。

其次，U-Net 能同時(shí)利用語義信息和細(xì)節(jié)信息。

編碼器提取深層語義，跳躍連接補(bǔ)充淺層細(xì)節(jié)，解碼器恢復(fù)空間分辨率。

再次，U-Net 對中小規(guī)模數(shù)據(jù)相對友好。

在醫(yī)學(xué)圖像等數(shù)據(jù)較難獲取的任務(wù)中，U-Net 仍然可以作為強(qiáng)有力的基礎(chǔ)結(jié)構(gòu)。

從通俗角度看，U-Net 的優(yōu)勢在于：它既能看懂圖像中有什么，也能盡量畫準(zhǔn)它在哪里。

2、U-Net 的主要局限

U-Net 也有局限。

首先，它主要依賴卷積結(jié)構(gòu)，原始版本對全局長距離關(guān)系建模能力有限。

如果目標(biāo)之間存在復(fù)雜遠(yuǎn)距離依賴，普通 U-Net 可能不夠強(qiáng)。

其次，U-Net 的效果依賴數(shù)據(jù)標(biāo)注質(zhì)量。

圖像分割需要像素級標(biāo)注，如果標(biāo)注不準(zhǔn)確，模型很容易學(xué)習(xí)到錯(cuò)誤邊界。

再次，U-Net 對顯存有一定要求。

由于跳躍連接需要保留編碼器多層特征，訓(xùn)練時(shí)顯存占用可能較高。

此外，U-Net 并不自動(dòng)解決類別不平衡問題。

在醫(yī)學(xué)分割中，病灶區(qū)域可能遠(yuǎn)小于背景區(qū)域，如果損失函數(shù)設(shè)計(jì)不當(dāng)，模型可能傾向于預(yù)測背景。

3、使用 U-Net 時(shí)需要注意的問題

使用 U-Net 時(shí)，需要注意：

? 輸入圖像和標(biāo)簽尺寸要對齊

? 下采樣次數(shù)會影響最小特征圖尺寸

? 跳躍連接處的特征尺寸需要匹配

? 二分類分割常用 Sigmoid 輸出

? 多類別分割常用 Softmax 輸出

? 小目標(biāo)分割要注意類別不平衡

? 醫(yī)學(xué)圖像常配合 Dice Loss 或 BCE + Dice Loss

? 數(shù)據(jù)增強(qiáng)對分割任務(wù)非常重要

? 預(yù)測結(jié)果通常需要閾值化或后處理

從實(shí)踐角度看，U-Net 是圖像分割的基礎(chǔ)結(jié)構(gòu)，但要取得好效果，還需要合適的數(shù)據(jù)增強(qiáng)、損失函數(shù)、評價(jià)指標(biāo)和后處理策略。

九、常見損失函數(shù)與評價(jià)指標(biāo)

圖像分割不同于普通分類，常需要關(guān)注像素級重疊程度。

1、二分類交叉熵

二分類分割中常用二分類交叉熵?fù)p失：

其中：

? L_BCE 表示二分類交叉熵?fù)p失

? n 表示像素?cái)?shù)量

? y? 表示第 i 個(gè)像素的真實(shí)標(biāo)簽，取值為 0 或 1

? p? 表示第 i 個(gè)像素預(yù)測為前景的概率

BCE 適合像素級二分類，但在前景區(qū)域很小、背景區(qū)域很大時(shí)，可能受到類別不平衡影響。

2、Dice 系數(shù)

Dice 系數(shù)常用于衡量預(yù)測區(qū)域與真實(shí)區(qū)域的重疊程度：

其中：

? P 表示預(yù)測區(qū)域

? G 表示真實(shí)標(biāo)注區(qū)域

? |P ∩ G| 表示預(yù)測區(qū)域和真實(shí)區(qū)域的交集大小

? |P| 和 |G| 分別表示預(yù)測區(qū)域和真實(shí)區(qū)域大小

Dice 越接近 1，說明預(yù)測越接近真實(shí)標(biāo)注。

3、Dice Loss

訓(xùn)練時(shí)常使用 Dice Loss：

其中：

? L_Dice 表示 Dice 損失

? p? 表示第 i 個(gè)像素的預(yù)測概率

? y? 表示第 i 個(gè)像素的真實(shí)標(biāo)簽

? ε 是一個(gè)很小的正數(shù)，用于避免分母為 0

Dice Loss 對小目標(biāo)和類別不平衡任務(wù)較常用。

4、IoU

IoU 也是分割中常見指標(biāo)：

其中：

? IoU 表示交并比

? P 表示預(yù)測區(qū)域

? G 表示真實(shí)區(qū)域

? |P ∩ G| 表示交集

? |P ∪ G| 表示并集

從通俗角度看：Dice 和 IoU 都是在看“預(yù)測區(qū)域和真實(shí)區(qū)域重合得有多好”。

十、Python 示例

下面給出一個(gè)簡化版 U-Net 示例，用來幫助理解它的基本結(jié)構(gòu)。

一個(gè)簡化版 U-Net 模塊：

這個(gè)簡化模型中：

? enc1、enc2 是編碼器部分

? bottleneck 是瓶頸層

? up2、up1 負(fù)責(zé)上采樣

? torch.cat 實(shí)現(xiàn)跳躍連接

? out_conv 輸出像素級預(yù)測結(jié)果

示例 1：查看輸入輸出形狀

輸出形狀通常為：

輸出形狀： torch.Size([2, 1, 128, 128])

其中：

? 2 表示 batch size

? 3 表示輸入圖像通道數(shù)

? 128 × 128 表示圖像空間尺寸

? 1 表示二分類分割輸出通道

這說明 U-Net 可以把輸入圖像映射為同樣空間尺寸的預(yù)測圖。

示例 2：二分類分割中的損失計(jì)算

這個(gè)例子中：

? logits 是模型原始輸出

? mask 是真實(shí)分割標(biāo)簽

? BCEWithLogitsLoss 適合二分類分割

? 訓(xùn)練時(shí)不需要手動(dòng)先對 logits 做 Sigmoid

如果要得到最終前景概率，可以在推理時(shí)使用：

prob = torch.sigmoid(logits)

再根據(jù)閾值得到二值分割圖：

pred_mask = prob > 0.5

小結(jié)

U-Net 是一種用于圖像分割的經(jīng)典編碼器—解碼器結(jié)構(gòu)。它通過編碼器提取語義信息，通過解碼器恢復(fù)空間分辨率，并利用跳躍連接補(bǔ)充淺層細(xì)節(jié)。相比普通編碼器—解碼器，U-Net 更適合像素級預(yù)測任務(wù)。對初學(xué)者而言，可以把 U-Net 理解為：一種先壓縮理解圖像、再恢復(fù)細(xì)節(jié)邊界的分割網(wǎng)絡(luò)。

“點(diǎn)贊有美意，贊賞是鼓勵(lì)”