近日，來自英國(guó)南安普頓大學(xué)（University of Southampton）和廣州大學(xué)的研究者團(tuán)隊(duì)提出 SlaClip，一種用于差分隱私隨機(jī)梯度下降（DP-SGD）[1] 的自適應(yīng)梯度剪裁方法。該工作 “SlaClip: Gradient Norm Slacks can be Indicator for Adaptive Clipping in DP-SGD” 被 ICML 2026 接收為 Spotlight。

• 論文標(biāo)題：SlaClip: Gradient Norm Slacks can be Indicator for Adaptive Clipping in DP-SGD
• 代碼鏈接：https://github.com/ZsyRock/SlaClip
• 關(guān)鍵詞：Differential Privacy, DP-SGD, Gradient Clipping, Adaptive Clipping

為了介紹 SlaClip，我們先講解傳統(tǒng)的 DP-SGD 以及現(xiàn)有的經(jīng)典自適應(yīng)剪裁閾值的方法。

傳統(tǒng) DP-SGD 與自適應(yīng)剪裁閾值方法

DP-SGD 是深度學(xué)習(xí)中實(shí)現(xiàn)差分隱私訓(xùn)練的經(jīng)典方法。它通過 “逐樣本梯度剪裁 + 高斯噪聲” 的方式限制單個(gè)樣本對(duì)模型更新的影響。DP-SGD 的基本流程可以概括為三步，如下所示：

為了解決固定剪裁閾值的局限，已有研究 Adap-Clip [2] 提出了一個(gè)自適應(yīng)剪裁閾值的方法，其思路是追蹤當(dāng)前批量中未發(fā)生剪裁的梯度占比，并將剪裁閾值調(diào)向一個(gè)固定目標(biāo)比例，例如 50%，這類自適應(yīng)裁剪思想也已經(jīng)進(jìn)入主流差分隱私訓(xùn)練工具鏈，例如 Meta 的 PyTorch Opacus 和 Google 生態(tài)中的 TensorFlow Privacy。

這一思路直觀有效，但在差分隱私訓(xùn)練中會(huì)帶來兩個(gè)問題：

• 第一，估計(jì)當(dāng)前批量中未剪裁比例通常需要額外的隱私評(píng)估。這將消耗更多隱私預(yù)算或者加入更強(qiáng)的噪聲。
• 第二，固定的目標(biāo)未剪裁比例并不一定總是合適。由于梯度范數(shù)分布會(huì)發(fā)生變化，在訓(xùn)練后期出現(xiàn)的大量小范數(shù)梯度對(duì)聚合更新的貢獻(xiàn)可能很小，甚至容易被 DP 噪聲淹沒。機(jī)械地維持固定未剪裁比例，剪裁閾值可能會(huì)持續(xù)下降。

這引出了 SlaClip 試圖回答的問題：能否在不引入額外隱私查詢的情況下，獲得類似梯度范數(shù)分布信息，用于自適應(yīng)調(diào)節(jié)剪裁閾值？

SlaClip 的核心觀察：剪裁的 “slack” 不是無用信息

在這種設(shè)計(jì)下，SlaClip 不需要額外的隱私消耗，就能獲得關(guān)于梯度范數(shù)分布的有用反饋信號(hào)。

Slack Indicator 得到的到底是什么信息？

經(jīng)過聚合、高斯噪聲和歸一化后，SlaClip 得到的 Slack Indicator 可以被理解為一個(gè)帶噪聲的、分箱的累積分布函數(shù)（cumulative distribution function, CDF）估計(jì)，如下所示。

換句話說，Slack Indicator 不只是告訴我們 “有多少梯度被剪裁”，而是提供了更細(xì)粒度的分布信息：哪些梯度接近當(dāng)前閾值，哪些梯度集中在較小范數(shù)區(qū)域。

其中，靠近閾值的坐標(biāo)可以提供類似未剪裁比例的反饋，功能上接近 Adap-Clip 所使用的剪裁 / 未剪裁統(tǒng)計(jì)。SlaClip 還額外利用 CDF 中靠近零的坐標(biāo)來估計(jì)小梯度比例，來動(dòng)態(tài)調(diào)節(jié)目標(biāo)未剪裁比例，使剪裁閾值更新更符合當(dāng)前訓(xùn)練階段的梯度分布。這個(gè)過程在整個(gè)訓(xùn)練過程中持續(xù)，如下圖所示，從而可以實(shí)時(shí)地動(dòng)態(tài)調(diào)節(jié)剪裁比例。

因此，SlaClip 同時(shí)克服了上文提到的現(xiàn)有 adaptive clipping 方法中的兩個(gè)問題：(I) SlaClip 無需額外的隱私評(píng)估，獲得更豐富的 CDF 信息； (II) SlaClip 動(dòng)態(tài)調(diào)節(jié)了未剪裁比例，避免了訓(xùn)練后期的剪裁閾值不斷下降的問題。

實(shí)驗(yàn)設(shè)計(jì)：相同參數(shù)池下的公平比較

為了比較不同剪裁方法，論文采用了匹配相同隱私預(yù)算下的公平調(diào)參協(xié)議對(duì)比實(shí)驗(yàn)，對(duì)每個(gè)方法、數(shù)據(jù)集和隱私預(yù)算都在相同的超參數(shù)池中進(jìn)行網(wǎng)格搜索（grid search）。實(shí)驗(yàn)結(jié)果表明，SlaClip 在多個(gè)數(shù)據(jù)集和隱私預(yù)算設(shè)置下取得了有競(jìng)爭(zhēng)力的結(jié)果，經(jīng)常達(dá)到最佳或第二好的差分隱私訓(xùn)練準(zhǔn)確率。

相比之下，一些傳統(tǒng)自適應(yīng)剪裁閾值方法的高精度區(qū)域更加集中，對(duì)學(xué)習(xí)率和初始閾值的組合更敏感。這說明 SlaClip 的 Slack Indicator 能夠在一定程度上緩解初始剪裁閾值選擇帶來的不穩(wěn)定性。

總結(jié)

總體而言，SlaClip 的特點(diǎn)可以概括為三點(diǎn)：

• 第一，SlaClip 不引入額外隱私查詢；
• 第二，SlaClip 是 “即插即用” 的方法，并且額外計(jì)算開銷較低；
• 第三，SlaClip 提供了比單一剪裁 / 未剪裁統(tǒng)計(jì)更豐富的信息。

作者簡(jiǎn)介

本文由英國(guó)南安普頓大學(xué)與廣州大學(xué)合作完成，第一作者為英國(guó)南安普頓大學(xué)計(jì)算機(jī)學(xué)院博士生 Shuyan Zou。通訊作者為南安普頓大學(xué)助理教授 Han Wu 與廣州大學(xué)王紹蔚副教授。論文核心成員包括來自英國(guó)南安普頓大學(xué)的 Vladimiro Sassone 教授和 Zhanxing Zhu 副教授，以及廣州大學(xué)的董長(zhǎng)宇教授和李進(jìn)教授。相關(guān)團(tuán)隊(duì)長(zhǎng)期從事人工智能與網(wǎng)絡(luò)安全交叉方向研究，重點(diǎn)關(guān)注隱私保護(hù)機(jī)器學(xué)習(xí)、差分隱私優(yōu)化、可信 AI 訓(xùn)練機(jī)制以及大模型安全等方向。

[1] Abadi, Martin, et al. "Deep learning with differential privacy." CCS 2016.

[2] Andrew, G., Thakkar, O., McMahan, B., & Ramaswamy, S.（2021). Differentially private learning with adaptive clipping. Advances in neural information processing systems, 34, 17455-17466.