新智元報道

【新智元導讀】清華大學提出一種新型物理對抗方法，利用特殊服裝同時干擾可見光和熱成像檢測。這種服裝通過非重疊設計和三維建模優化，可有效躲避RGB-T檢測器，促進系統安全性研究。

近年來，可見光-熱成像（RGB-T）聯合目標檢測系統受到了越來越多關注。

與單一可見光檢測相比，RGB-T檢測器能夠同時利用普通相機和熱成像相機的信息，在夜間、弱光、惡劣天氣等復雜環境下具有更好的魯棒性，因此在自動駕駛、智能安防、機器人感知等場景中具有重要應用價值。

由于多模態系統同時融合了可見光和熱成像信息，人們通常認為它比單模態系統更加可靠：即使一個模態受到干擾，另一個模態仍然可以提供補充信息。

然而，這類系統在現實物理世界中的安全性是否真的足夠可靠，仍然缺乏系統研究。

最近，來自清華大學的研究團隊在CVPR 2026論文中提出了一種面向可見光-熱成像目標檢測器的物理對抗方法。該方法通過設計一套特殊的對抗服裝，使行人在現實世界中能夠同時躲避可見光和熱成像檢測器。

論文鏈接：https://arxiv.org/abs/2605.04675

代碼鏈接：https://github.com/zxp555/RGBT-Clothing

實驗表明，該方法可以對抗不同融合架構的RGB-T檢測器，在數字世界中的平均對抗成功率達到90%，在真實物理世界中的平均成功率達到60%。

研究背景

對抗樣本研究表明，深度神經網絡在面對經過精心設計的擾動時，可能產生錯誤判斷。過去，大量物理對抗工作主要集中在單一模態上：例如，在可見光場景中，可以將對抗圖案打印在紙張、貼紙或衣服上；在熱成像場景中，則可以利用發熱器件、隔熱材料等方式改變熱圖像。

但是，可見光和熱成像機制存在顯著差異?？梢姽鈭D像依賴光照、顏色和紋理，而熱成像圖像反映的是物體表面的熱輻射特性。

因此，只針對可見光設計的對抗圖案，往往無法在熱成像圖像中產生有效對抗；只針對熱成像設計的材料，也難以同時欺騙可見光檢測器。

目前，有一些工作嘗試對抗RGB-T檢測器，但仍存在局限。例如，一些方法采用二維對抗貼片，但對抗角度范圍較窄；另一些方法需要將特殊低輻射薄膜疊加在打印圖案上，但削弱可見光圖案效果，且增加了制作成本。也就是說， RGB-T 檢測器在不同角度、距離和融合架構下的真實安全風險仍未被充分揭示。

研究方法

為了解決這些問題，作者提出了一種非重疊RGB-T對抗圖案設計，稱為NORP（non-overlapping RGB-T pattern）。其核心思想是：物理對抗服裝上的每一個位置要么用于顯示可見光圖案以干擾可見光檢測，要么用于顯示熱成像圖案以干擾熱成像模態，兩者在空間中不重疊。

具體來說，作者使用普通可打印布料來承載可見光對抗圖案，同時使用常見的鋁膜材料來改變局部熱熱成像效果。這樣既可以同時作用于RGB和Thermal兩個模態，又避免了傳統重疊式打印帶來的亮度下降問題。

為了在現實世界中適用于不同觀察角度，作者進一步構建了人體和服裝的三維RGB-T模型。通過三維建模，系統可以在數字世界中模擬0到360度全視角下的人體穿衣效果，并同時渲染可見光圖像和熱成像圖像。優化完成后，作者再根據生成的圖案制作真實衣服，包括上衣和褲子，從而實現物理世界中的全視角RGB-T對抗。

但是，在對抗圖案的優化方法上，NORP帶來了一個新的難題：同一個位置不能既是可連續優化的RGB顏色，又是離散選擇的熱成像材料。為此，作者提出了空間離散-連續優化方法，在優化過程中隨機選擇部分區域進行離散化，同時更新另一部分連續變量，從而在滿足物理可制造約束的同時，聯合優化可見光和熱成像對抗圖案。

為了提升對未知檢測器的遷移對抗能力，作者還提出了融合階段集成方法，將早期融合、中期融合、晚期融合以及獨立雙模態檢測器共同納入優化，使一套衣服能夠有效干擾不同融合架構的RGB-T檢測系統。

實驗結果

作者首先在數字世界中進行了系統評估。實驗覆蓋了多種RGB-T檢測架構，包括早期融合檢測器Prob-E、中期融合檢測器Prob-M、晚期融合檢測器Prob-L，以及獨立的YOLO11可見光和熱成像檢測器。評測使用FLIR測試集的500張圖像，在隨機人物角度，距離，背景和光照條件下進行。

結果顯示，得益于3D建模以及連續離散混合優化的對抗方法，本文實驗在數字世界中對不同RGB-T檢測器均取得了非常高的對抗成功率（ASR），達到90%以上。相比之下，普通純色衣服、隨機RGB-T圖案以及已有對抗方法，對多模態目標檢測器的對抗成功率較為有限。

作者還進一步分析了不同距離和角度下的對抗效果。實驗覆蓋0到360度視角，以及2.5米到 20 米的距離范圍。結果表明，本文方法能夠在全視角和多個距離條件下穩定對抗RGB-T檢測器，相比以往主要適用于有限角度范圍的二維貼片方法具有明顯優勢。

接下來，作者使用布料和鋁膜制作了真實RGB-T對抗服裝，并開展物理世界實驗。實驗使用iPhone 13 Pro和FLIR T560熱成像相機同步采集可見光和熱成像圖像，并在室內和室外、早晨、中午、下午和傍晚等不同場景中采集數據。物理實驗結果顯示，本文方法在不同融合架構的RGB-T檢測器上均能有效逃避檢測，平均對抗成功率達到60%，顯著優于普通衣服、隨機圖案衣服和已有方法。

作者還驗證了方法在黑盒設置下的遷移能力。通過融合階段集成優化，一套對抗服裝可以遷移對抗未參與訓練的RGB-T檢測器，例如RPN-E、AR-CNN、RPN-L和Deformable DETR等。作者在這些模型上也觀察到了一定的遷移對抗效果。這表明當前RGB-T檢測系統在面對現實物理對抗時仍然存在普遍安全隱患。

結論與展望

研究人員提出了一種面向可見光-熱成像目標檢測器的物理對抗方法。

通過構建三維RGB-T人體和服裝模型，設計非重疊RGB-T對抗圖案，并提出空間離散-連續優化方法，實現了可制造、可穿戴、全視角的多模態對抗服裝。

該研究表明，即使是融合了可見光和熱成像信息的多模態檢測系統，也可能在現實世界中受到物理對抗樣本的威脅。

相關研究發現有助于更加全面地理解RGB-T檢測器的安全風險，并推動未來實現更加魯棒、更加可靠的多模態感知系統。

作者介紹

論文作者依次為，朱小佩，清華大學水木學者，合作導師為朱軍教授；曾冠寧（共同一作），清華大學計算機系本科生；胡展豪，加州大學伯克利分校博士后；以及本文通訊作者，清華大學朱軍教授和胡曉林副教授。

參考資料：

https://arxiv.org/abs/2605.04675

編輯：LRST