不可學習樣本（Unlearnable Examples）是一類用于數據保護的技術，其核心思想是在原始數據中注入人類難以察覺的微小擾動，使得未經授權的第三方在使用這些數據訓練模型時，模型的泛化性能顯著下降，甚至接近隨機猜測，從而達到阻止數據被濫用的目的。

例如，對于攝影師公開發布的作品或用戶分享的個人照片，在添加擾動后，圖像在視覺上幾乎不發生變化；但若這些數據被用于訓練圖像分類模型，其測試準確率可能會從 90% 降至 10% 左右。

隨著深度模型對大規模數據依賴程度的不斷提升，不可學習樣本逐漸成為數據隱私與模型安全領域的重要研究方向。然而，現有方法在實際應用中仍面臨顯著的效率瓶頸。

• 論文鏈接： https://arxiv.org/abs/2601.19967
• 代碼已開源： https://github.com/jinlinll/pil

現有方法的效率瓶頸

當前主流的不可學習樣本生成方法大多依賴深度神經網絡（DNN）作為代理模型。其典型流程包括：

1. 訓練一個復雜的深度模型（如 ResNet、VGG）作為代理；

2. 在代理模型上通過對抗攻擊方法（如 PGD）迭代優化擾動；

3. 利用擾動在其他模型上的遷移性實現防護效果。

這種對深度模型的依賴帶來了若干問題：

• 計算開銷高：生成一次擾動往往需要大量 GPU 資源。例如，REM 方法在 CIFAR-10 數據集上的擾動生成時間超過 15 GPU 小時；
• 擴展性受限：當應用于高分辨率圖像或大規模數據集（如 ImageNet）時，時間成本迅速上升；
• 模型復雜度冗余：深模型的強非線性表達能力并非不可學習樣本生成的必要條件，反而增加了優化難度。

核心觀察：不可學習樣本與模型線性化

我們關注到一個關鍵現象：不可學習樣本的作用機制，本質上是誘導深模型退化為近似線性的行為模式。

我們評估了多種現有不可學習樣本方法（包括 EM、REM、TAP、SP、AR 等），發現一個一致現象：無論方法設計多么復雜，最終均會誘導深度模型呈現更強的線性特征（通過 FGSM 的成功率度量）

表 1：不同 FGSM 攻擊步長下不可學習樣本導致的額外準確率下降百分比（擾動比例 50%）

從這一角度出發，如果最終目標是使深模型表現出線性特性，那么使用復雜的深度模型作為代理并非必要。相反，直接利用線性模型生成擾動，可能更直接地作用于這一核心機制。

基于此，我們提出PIL（Perturbation-Induced Linearization）： 通過線性模型作為代理，直接生成能夠誘導深模型線性化的不可學習擾動。

PIL 方法概述

與基于對抗攻擊的方案不同，PIL 通過一個雙目標優化過程，引導模型學習線性映射。

1. 語義混淆（Semantic Obfuscation）

通過最小化 KL 散度，使線性代理模型在擾動后的樣本上輸出接近均勻分布，從而削弱原始圖像中可用于分類的語義信息。

2. 捷徑誘導（Shortcut Learning）

通過最小化交叉熵損失，使代理模型能夠僅依據擾動準確預測標簽，從而將判別信息嵌入進擾動中。

兩個目標通過平衡參數 λ 進行聯合優化，最終生成的擾動同時抑制語義學習并強化線性捷徑，從而在深模型訓練階段誘導其產生顯著的泛化退化。

圖 1：PIL 方法示意圖

PIL 的算法流程（簡要）

1. 訓練一個無偏置的線性分類器作為代理模型；

2. 在不可察覺約束（L∞≤8/255）下，采用類似 PGD 的方法優化擾動；

3. 將擾動注入原始圖像，構造不可學習樣本；

Algorithm 1：PIL 算法流程

實驗結果

我們在 SVHN、CIFAR-10/100 和 ImageNet-100 數據集上，結合 ResNet、VGG、MobileNet 等多種模型進行了系統評估。

1. 有效性

在不同數據集和模型架構下，PIL 生成的不可學習樣本均能顯著降低模型的測試準確率，在部分設置中準確率接近隨機水平。

表 2：在干凈數據集（Dc）與 PIL 構建的不可學習數據集（Du）上訓練的模型在干凈數據上的測試準確率（%）對比

2. 計算效率

在 CIFAR-10 上，PIL 生成擾動僅需 40.53 秒，而 REM 方法需要超過 54k 秒，效率提升超過三個數量級。同時，PIL 在效率與防護效果之間取得了較好的平衡。

表 3：不同方法為 CIFAR-10 訓練集構建全部擾動所需的時間對比

3. 魯棒性

在多種數據增強策略（旋轉、裁剪、MixUp）和不同 JPEG 壓縮質量下，PIL 依然保持穩定的防護性能。

表 4：不同數據增強策略下，各類不可學習樣本在 CIFAR-10 上的干凈測試準確率（%）。結果越接近 10% 越好。灰色背景標示 Top-2 的兩種方法。

表 5：在不同 JPEG 壓縮質量下，各類不可學習樣本在 CIFAR-10 上的干凈測試準確率（%）。結果越接近 10% 越好。灰色背景標示 Top-2 的兩種方法。

4. 線性化驗證

我們使用 FGSM 攻擊下的準確率下降幅度作為線性化指標。實驗表明，隨著 PIL 擾動比例增加，模型對 FGSM 的敏感性顯著增強，驗證了 PIL 確實誘導了模型的線性行為。

表 6：使用不同干凈 / PIL 擾動數據混合比例訓練的 ResNet-18 模型，在各 FGSM 攻擊步長下的測試準確率及下降幅度（%）

進一步分析：

部分擾動設置下的性能退化受限

在實驗中我們觀察到一個一致現象：當僅有部分訓練數據被擾動時，模型的測試準確率往往不會出現顯著下降。這一現象并非 PIL 方法特有，而是現有不可學習樣本方法普遍存在的特性。

為解釋該現象，我們通過實驗發現模型對被擾動樣本產生的梯度與對干凈樣本的梯度呈現很強的正交性，于是我們提出在梯度正交假設，并在該假設下進行了理論分析，得到如下結論：

• 干凈樣本與擾動樣本在訓練過程中所產生的梯度方向近似正交，因此擾動樣本對應的梯度更新難以顯著干擾模型對干凈樣本的學習；
• 在混合訓練設置下，模型的泛化性能主要由干凈數據主導，只要干凈樣本數量足夠，模型仍能學習到穩定且可泛化的特征表示。

圖 2：在部分擾動場景下，CIFAR-10 數據集的干凈測試準確率（%）

上述分析表明，部分擾動并不足以從根本上削弱模型的泛化能力。這一定性結論對于實際應用具有直接啟示意義：若期望獲得穩定且顯著的防護效果，需要對數據集進行大比例甚至全部的擾動，或至少保證擾動樣本在訓練數據中占據足夠高的比例（通常高于 80%）。

結語

PIL 的核心在于從機制層面重新審視不可學習樣本問題，將關注點從復雜的代理模型與攻擊策略，轉向「模型線性化」這一關鍵因素。通過使用線性代理模型，PIL 在顯著降低計算成本的同時，依然保持了穩定而有效的防護能力。

我們希望這一視角能夠為不可學習樣本及相關數據保護研究提供新的思路，并推動更加高效、可擴展的方法設計。