本文是《廣播與電視技術》2026年5期《基于多模態(tài)大模型的短視頻內容智能審核平臺設計與實現(xiàn)》精華版，請訪問廣電獵酷微信小程序閱讀下載全文。

論文圍繞短視頻平臺內容治理中存在的人力時間成本高、審核規(guī)則更新滯后等問題，提出基于多模態(tài)大模型的短視頻內容智能審核平臺。平臺采用四層架構（接入-服務-模型-存儲），集成視覺-語音-文本三模態(tài)大模型，實現(xiàn)對涉政、暴力、色情、虛假廣告、侵權等風險的高精度識別。核心創(chuàng)新在于構建了動態(tài)智能審核框架，能夠智能挖掘近期潛在風險話題并動態(tài)更新審核機制，同時配合人機協(xié)同復審機制，將人工介入比例控制在5%以下。實驗結果表明：負面視頻召回率 97.01%，正面視頻召回率98.10%，綜合準確率 92.4%，人工工作量下降70–80%。

本文作者：

封子杰 郭云輝 張江江

陜西省廣播電視技術推廣中心

第一作者簡介：

封子杰（1996-），男，中級工程師，碩士研究生，西安科技大學通信與信息系統(tǒng)專業(yè)畢業(yè)，現(xiàn)任職于陜西省廣播電視技術推廣中心，主要從事廣播電視技術推廣、通信與信息系統(tǒng)相關工程應用及技術研究工作。

[本文獻信息]

封子杰 郭云輝 張江江. 基于多模態(tài)大模型的短視頻內容智能審核平臺設計與實現(xiàn)[J]. 廣播與電視技術, 2026, VoL.53(5).

基于多模態(tài)大模型的短視頻內容

智能審核平臺設計與實現(xiàn)

01

背景與平臺設計目標

1.1 背景與挑戰(zhàn)

海量的用戶生成內容中混雜著大量可能對用戶，特別是未成年人心理健康構成威脅的有害信息[1-2]。這些內容包括但不限于涉及政治敏感的言論、渲染暴力恐怖的畫面、色情低俗的影像、虛假誤導性的信息、違規(guī)的商業(yè)廣告以及侵犯他人知識產(chǎn)權的作品[3]。這些有害內容的傳播不僅嚴重污染了平臺的生態(tài)環(huán)境，還可能引發(fā)災難性的社會后果，對公共安全、社會穩(wěn)定和個體福祉構成潛在威脅[4]。

內容審核旨在系統(tǒng)性地評估視頻內容，確保其符合法律法規(guī)、平臺政策和社會倫理規(guī)范，從而在有害信息廣泛傳播前進行有效過濾[5]。然而，短視頻內容快速演變的趨勢，使得審核工作變得異常復雜[6]。例如，某些違規(guī)內容可能通過隱晦的“梗”或“隱喻”來表達，單純的文本或圖像識別難以捕捉其深層含義[7]。此外，由不可預測的社會事件驅動的網(wǎng)絡熱點和違規(guī)形式使得任何靜態(tài)的、基于固定規(guī)則的審核系統(tǒng)都極易過時和失效[8]。

面對短視頻內容審核的復雜挑戰(zhàn)，業(yè)界傳統(tǒng)的審核范式主要依賴兩種模式：人工審核和早期的自動化審核方法。早期的自動化方法主要包括兩種技術路徑：一是基于規(guī)則的系統(tǒng)，如關鍵詞匹配，將已知的違規(guī)詞匯庫編碼到程序中，進行快速過濾；二是基于傳統(tǒng)機器學習的分類器，通過在標注好的數(shù)據(jù)集上進行訓練來識別有害內容。盡管這些方法在效率上遠超人工，但準確性往往不盡如人意，且應用場景非常有限。它們通常只能處理特定、明確的違規(guī)模式，對于需要深度語義理解、上下文關聯(lián)分析或跨模態(tài)信息融合的復雜情況則束手無策。隨著技術的發(fā)展，利用大模型進行內容審核成為新的研究方向。

1.2 平臺設計目標

本設計方案的核心目標之一是構建一個能夠顯著提升審核效率與準確性的智能平臺。通過對模型進行精細化的微調和優(yōu)化，本研究期望審核準確率能夠達到超越人類專家的水平，尤其是在處理復雜語義（如隱喻、反諷）和跨模態(tài)關聯(lián)違規(guī)等難點問題上取得突破。

本平臺的另一個關鍵設計目標是最大限度地降低人工審核的工作量和相關成本，通過構建一個高度智能化的自動化審核流水線，旨在將大部分重復性、模式化的審核任務交由機器完成。

02

平臺總體架構

為實現(xiàn)高內聚、低耦合、易于擴展和維護的系統(tǒng)目標，本平臺采用經(jīng)典的四層分層架構設計，自上而下分別為：接入層、服務層、模型層和存儲層，如圖1所示。

圖1 基于多模態(tài)大模型的短視頻內容智能審核平臺架構示意圖

1.接入層：作為平臺與外部系統(tǒng)的唯一交互入口，主要負責處理來自不同業(yè)務方的內容審核請求。該層提供統(tǒng)一的API網(wǎng)關，實現(xiàn)請求的路由、鑒權、限流和協(xié)議轉換，確保后端服務的安全與穩(wěn)定。

2.服務層：這是平臺的核心業(yè)務邏輯層，負責協(xié)調各個功能模塊，完成整個審核流程的編排。它主要包括內容預處理服務、審核任務調度服務、結果聚合與決策服務以及人機協(xié)同服務。服務層通過調用模型層的算法能力，對內容進行多模態(tài)分析，并根據(jù)預設的策略和規(guī)則，綜合判斷內容的合規(guī)性。

3.模型層：該層是平臺的“智能大腦”，封裝了所有核心的AI算法和模型。它主要由一系列專門處理不同模態(tài)數(shù)據(jù)和不同違規(guī)類型的多模態(tài)大模型構成。這些模型通過統(tǒng)一的接口對外提供服務，支持熱更新和版本管理，確保模型能夠快速迭代而不影響上層服務。

4.存儲層：作為平臺的數(shù)據(jù)底座，負責存儲所有相關的數(shù)據(jù)，包括原始視頻文件、預處理后的特征數(shù)據(jù)、審核日志、模型元數(shù)據(jù)、策略配置以及用于訓練和微調的數(shù)據(jù)集等。

03

多模態(tài)大模型

內容審核詳細設計

圖2是MM-LLM媒體內容預核流程的技術架構圖，包含四種輸入類型：圖像/視頻輸入、音頻輸入、文本輸入和直播流輸入，多模態(tài)數(shù)據(jù)首先進入“跨模態(tài)理解與特征提取”模塊，同時結合下方的“知識圖譜與安全策略庫”進行輔助分析。處理后的數(shù)據(jù)匯入中央的“多模態(tài)大模型（MM-LLM）核心引擎”進行統(tǒng)一處理。隨后進入智能審核決策環(huán)節(jié)：首先是“違規(guī)檢測（暴力/色情/仇恨/虛假）”，檢測到的違規(guī)內容會被“自動攔截/刪除”；其次是“風險評級（高/中/低）”，根據(jù)風險等級將內容送入“人工復審隊列”進行人工審核；最后是“合規(guī)內容放行”，通過審核的內容進入“用戶反饋循環(huán)”環(huán)節(jié)，形成完整的閉環(huán)反饋機制。

3.1 多模態(tài)數(shù)據(jù)處理流程

多模態(tài)大模型內容審核核心引擎示意圖如圖2。

圖2 多模態(tài)大模型內容審核核心引擎示意圖

3.1.1 視頻關鍵幀提取與圖像特征編碼

由于直接對整個視頻序列進行分析的計算量巨大且效率低下，本研究采用關鍵幀提取技術來捕捉視頻的核心視覺信息。

在具體實現(xiàn)上，平臺利用成熟的計算機視覺方法對上傳的短視頻進行解碼處理。為了保證在內容完整性和處理效率之間取得平衡，不采用固定頻率抽幀，而是利用感知哈希（pHash）剔除冗余幀，僅保留視覺變化較大的畫面。將提取出的關鍵幀圖像序列作為視覺內容分析的基礎輸入。獲得關鍵幀后，對這些圖像進行深度特征編碼，轉換為機器可理解的向量表示。平臺采用先進的視覺大模型作為圖像編碼器。對于每一張關鍵幀圖像，視覺模型會將其分割成多個圖像塊，最終編碼成一個高維的特征向量，為后續(xù)的風險分類和違規(guī)檢測提供了強大的特征基礎。這里使用的視覺編碼器 （Vision Encoder）為 CLIP-ViT。

3.1.2 音頻內容轉錄與文本特征提取

平臺的處理流程首先會從視頻文件中分離出音頻軌道。隨后，利用自動語音識別技術，將音頻中的語音內容轉換為文本。轉換得到的文本內容將與視頻自帶的標題、描述、評論等文本信息一起，進入后續(xù)的文本分析模塊。這里使用的音頻大模型為GLM-4-Voice。GLM-4-Voice能夠理解情感，有情緒表達、情感共鳴，可自助調節(jié)語速，支持多語言和方言，并且延時更低。

對于轉換后的文本，平臺采用文本大模型進行深度語義分析和特征提取。文本大模型會對語音生成的文本進行編碼，生成富含語義信息的文本特征向量。采用的文本大模型為Qwen 2.5。

3.2 多模態(tài)特征融合機制

多模態(tài)特征融合是智能審核引擎的關鍵技術。本方法主要分為兩個步驟，如圖3所示。

圖3 多模態(tài)特征融合機制示意圖

（1）語義對齊：在特征進入大模型推理之前，須將視覺（Vision）和文本（Text）映射到同一個高維向量空間?；趯Ρ葘W習增強方法，即 采用類似 CLIP 的對比學習架構，但在損失函數(shù)中加入“違規(guī)樣本挖掘”項。通過最小化違規(guī)圖文對之間的距離，模型在特征提取階段就能對“色情、暴恐”等敏感語義產(chǎn)生極高的激活度。這些 Token 像“探針”一樣，從圖像編碼器提取的特征塊中抽取出最具判別力的語義摘要。

（2）交叉注意力融合（Cross-Attention Fusion）：通過引入 Transformer 的 Cross-Attention 層，讓文本特征作為 Query，圖像特征作為 Key/Value。

04

技術創(chuàng)新點

本平臺采用經(jīng)典的四層分層架構設計，這種分層設計確保了各層職責清晰，便于獨立開發(fā)、部署和優(yōu)化。

平臺集成了視覺、語音和文本三模態(tài)大模型，通過先進的架構實現(xiàn)深層次的模態(tài)交互。采用類似 CLIP 的對比學習架構，并在損失函數(shù)中加入“違規(guī)樣本挖掘”項，使模型在特征提取階段就對“色情、暴恐”等敏感語義產(chǎn)生極高的激活度。這種融合機制使平臺能夠突破單一模態(tài)識別的局限，精準捕捉隱喻、反諷及跨模態(tài)關聯(lián)違規(guī)等深層語義風險。

05

應用成效

5.1 審核性能提升

本平臺在審核性能上獲得了顯著的提升，其核心指標——準確率與召回率均達到了業(yè)界領先水平。

表1 整體表現(xiàn)

評估指標

框架表現(xiàn)

負面內容召回率

97.01%

正面內容召回率

98.10%

總體準確率

92.40%

如表1所示，在一項基于其自建基準數(shù)據(jù)集（包含422個真實世界的有害視頻）的離線評估中，大模型在識別負面內容方面的召回率達到了97.01%，而在識別正面內容方面的召回率也達到了98.10%，正面內容召回旨在評價系統(tǒng)對于正面內容檢測的準確性，避免系統(tǒng)檢測過于嚴苛，返回過多的負面內容，增加人工審核的成本。綜合所有類別的總體準確率達到了92.40%。

這些數(shù)據(jù)有力地證明了基于多模態(tài)大模型的智能審核系統(tǒng)在性能上的優(yōu)越性。高召回率意味著平臺能夠最大限度地“不漏判”，將絕大多數(shù)有害內容成功攔截下來，這對于維護平臺安全至關重要。而高準確率則意味著系統(tǒng)“不錯判”，能夠減少對正常內容的誤傷，保障創(chuàng)作者的權益和用戶體驗。

5.2 效率與成本效益

本平臺在設計之初就將高處理速度作為核心目標之一，以滿足短視頻平臺海量、高并發(fā)的業(yè)務需求。在實際應用中，平臺能夠保證90%以上的新上傳視頻在10分鐘內完成全鏈路審核（包括多模態(tài)特征提取、模型推理、結果判定等），而對于高優(yōu)先級或疑似高風險的內容，審核時間可以縮短至分鐘級甚至秒級。

這種人機協(xié)同的審核模式，從根本上改變了傳統(tǒng)審核流水線中人工“大海撈針”式的低效工作模式。引入先進的AI審核系統(tǒng)后，人工審核的工作量通?？梢詼p少70%至80%。這意味著，在內容量持續(xù)增長的情況下，平臺無需同比例地擴大審核團隊規(guī)模，從而將寶貴的人力資源投入更高價值的運營和策略優(yōu)化工作中，實現(xiàn)降本增效的戰(zhàn)略目標。

06

結束語

本設計方案詳細闡述了一個基于多模態(tài)大模型的短視頻內容智能審核平臺，旨在解決短視頻平臺在內容治理方面面臨的效率、準確性和適應性三大核心挑戰(zhàn)。

平臺通過創(chuàng)新的智能審核框架，結合多模態(tài)大模型等一系列前沿技術，構建了一個既能堅守規(guī)則底線，又能靈活應對新風險的動態(tài)、智能審核系統(tǒng)。該平臺不僅在理論上具備卓越的性能，更在應用成效上展現(xiàn)出巨大的價值，包括顯著提升審核準確率與召回率、大幅降低人工審核成本、快速響應風險演變，并最終通過改善用戶體驗和保障平臺合規(guī)，為業(yè)務的健康、可持續(xù)發(fā)展提供堅實的技術支撐。

更多技術細節(jié)、部署方案與實踐數(shù)據(jù)

歡迎點擊小程序查看論文全文！

end

參考文獻

[1] TAYLOR P. Number of smartphone mobile network subscriptions worldwide from 2016 to 2023, with forecasts from 2023 to 2028[EB/OL]. Statista, (2024-05-09)[2025-05-09]. https://www.statista.com/statistics/330695/number-of-smartphone-users-worldwide/.

[2] MEMON A M, SHARMA S G, MODI A, et al. The role of online social networking on deliberate self-harm and suicidality in adolescents: A systematized review of literature[J]. Indian Journal of Psychiatry, 2018, 60(4): 384-392.

[3] GEIGER C, JüTTE B J. Platform liability under Art. 17 of the copyright in the digital single market directive, automated filtering and fundamental rights: an impossible match[J]. GRUR International, 2021, 70(6): 517-543.

[4] SZALKOWSKI G A, WINDEKILDE I M, JOHANSEN C. Towards sustainable short-form video: Modelling solutions for social and environmental challenges[J]. F1000Research, 2025, 14: 265.

[5] GILLESPIE T. Custodians of the Internet: Platforms, content moderation, and the hidden decisions that shape social media[M]. New Haven: Yale University Press, 2018.

[6] HEE M S, WANG D, CHUA T S, et al. Recent advances in hate speech moderation: Multimodality and the role of large models[J/OL]. arXiv preprint arXiv:2401.16727, 2024.

[7] ZENG J, KAYE D B V. From content moderation to visibility moderation: A case study of platform governance on TikTok[J]. Policy & Internet, 2022, 14(1): 79-95.

[8] WEIMANN G, MASRI N. Research note: Spreading hate on TikTok[J]. Studies in Conflict & Terrorism, 2023, 46(5): 752-765.

《廣播與電視技術》“廣電獵酷”廣告經(jīng)營與商務合作：

聯(lián)系人：胡南

聯(lián)系電話：13671012778

好文共賞請轉發(fā) 有話要說請留言