5月27日-29日,2026第十屆集微大會在上海張江科學會堂隆重舉行,思特威車載事業群總經理兼飛凌微電子CEO邵科在大會5月28日召開的“端側AI峰會”上發表了以《CIS+SoC融合方案助力端側視覺AI全場景應用》為主題的演講,分享了端側視覺AI的應用趨勢、行業痛點,以及思特威基于CIS+SoC融合的技術方案與落地進展。
![]()
邵科指出,“端側視覺能有效幫助設備觀察環境、識別事件,應用空間非常廣闊。思特威的核心業務主要聚焦三大領域:智能安防、車載電子、智能手機。多年來,公司在這三大領域持續深耕,出貨量穩居行業領先地位。除了我們的三大主業外,端側視覺應用也廣泛延伸至日常生活場景,包括機器人、工業視覺、AR/VR 等,應用場景非常豐富。”
不過當前端側視覺AI在方案落地與規模化應用中,仍面臨一些痛點,一方面來自CIS本身;另一方面來自CIS與SoC的適配協同。從CIS來看,其成像性能非常關鍵,直接影響最終算法的效果。同時,視覺系統不僅包含CIS,還包括后端的主控及其他SoC,這帶來了適配方面的問題。此外,不同應用對算力的需求各異,因此對SoC的選擇和適配在實際應用中也對效果產生重要影響。
邵科提到,“因此,在成像方面,思特威持續投入CIS性能的提升,不斷研發新技術,并推出系列化新產品。例如針對高動態范圍成像,公司在車載和手機應用中持續迭代,利用自研的SFCPixel?等技術,在單幀曝光中獲得更好的成像效果。同時,在夜視成像方面,通過提升像素的感光度、優化噪聲控制等方式,持續改善夜間成像質量。另外針對不同行業應用,公司還開發了多種特色技術。例如,車載應用中的LED閃爍抑制技術,手機應用中的相位對焦技術,以及針對電池供電設備的低功耗快啟技術等,可以更好地支持多樣化的AI應用。”
在CIS+端側SoC融合上,思特威針對車載和工業視覺等應用推出了一系列方案。在車載方面,覆蓋前視/后視、艙內監測(DMS/OMS)、電子后視鏡(CMS/E-Mirror)、哨兵模式等車載視覺應用場景,能夠在端側進行圖像增強,并為后端處理提供預處理的圖像數據。
![]()
邵科進一步介紹了思特威已實現大規模量產的艙內OMS方案,“隨著智能駕駛的發展,座艙內不僅需要DMS(駕駛員監測系統),OMS的應用也越來越廣泛。該方案既需要輸出高質量的視頻圖像用于交互和娛樂,也需要通過近紅外成像實現艙內的識別與感知。因此,我們將500萬像素的RGB-IR圖像傳感器與輕量級SoC集成在模組端,能夠同時輸出RGB和IR圖像,并利用ISP技術進行圖像增強。”
另外,在車載應用中,越來越多新能源車開始支持“哨兵模式”,這不僅能提升用戶體驗,也增強了車輛的安全性。思特威基于CIS和輕量級SoC,在模組端實現了全天候、低功耗的哨兵模式。該模式下,傳感器以低功耗、低幀率持續輸出,模組端通過輕量級算法逐幀檢測。當識別到異常時,系統會喚醒后端域控制器,并將預存的異常圖像數據發送給后端,以便進行后續處理。在非車載應用方面,思特威聚焦于單目和雙目模組端側的智能感知,可應用于智能硬件、智能家居、工業檢測以及各類需要圖像增強的場景。
對于端側視覺AI技術展望,邵科提到:“我們持續迭代CIS技術,同時致力于將視覺與更多AI功能相結合。未來有兩個主要方向:第一,在AI Sensor方面,我們預研將CIS與SoC通過3D集成方式結合,在單一芯片上實現高質量的ISP核心功能,并支持AI加速。第二,在AI SoC方面,我們持續研發高性能的近存計算,通過“NPU+ASIC異構”一體化的方式,實現多傳感器融合,并探索未來將大模型應用于端側的場景。”
邵科在演講的最后表示,“總體而言,思特威堅持以圖像傳感器和視覺技術為出發點,持續與AI深度融合,覆蓋從數據采集、數據處理、數據傳輸到最終感知的全鏈條,構建3+AI戰略。”
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.