想象一下這樣的生活片段:你拿起手機(jī) 30 秒,屏幕立刻跳出提醒,“當(dāng)前心率 78,壓力中等,建議深呼吸”;家里的智能攝像頭靜靜看著午睡的寶寶,突然通過 App 提醒你:“寶寶心率偏快,呼吸略顯急促,建議進(jìn)屋查看”;養(yǎng)老院里,巡檢機(jī)器人通過一次擦身而過的對視,便能感知到老人今天情緒低落,且血氧飽和度略低于往常......
這些曾經(jīng)只存在于科幻電影中的“讀心術(shù)”,正由一家名為微面科技(FacePhys)的公司變成現(xiàn)實(shí)。這家聚焦 AI 機(jī)器視覺核心技術(shù)研發(fā)與產(chǎn)業(yè)化的初創(chuàng)公司,憑借自主可控的遠(yuǎn)程光電容積描記技術(shù)(rPPG),打造了一個(gè)可端側(cè)推理人體生理、情緒狀態(tài)的智能攝像頭系統(tǒng),讓機(jī)器不僅能看見世界,更能洞察人類的生理與情感。
微面科技核心團(tuán)隊(duì)來自清華大學(xué)。創(chuàng)始人唐健凱是清華大學(xué)新雅書院和計(jì)算機(jī)系在讀博士生,長期深耕機(jī)器視覺與生理計(jì)算方向,曾在 Science Advances 等頂級期刊和會(huì)議發(fā)表 20 余項(xiàng)研究成果,谷歌學(xué)術(shù)引用超 1,600 次;聯(lián)合創(chuàng)始人張藝儒就讀于清華大學(xué)計(jì)算機(jī)系碩士,研究方向?yàn)槿藱C(jī)交互與遠(yuǎn)程生理感知,曾在 UbiComp、CHI 等頂會(huì)發(fā)表相關(guān)成果;聯(lián)合創(chuàng)始人張銘宇出身清華軟件學(xué)院,具備深厚的工程落地與產(chǎn)品化經(jīng)驗(yàn),統(tǒng)籌技術(shù)從實(shí)驗(yàn)室走向量產(chǎn)的全鏈路交付。
![]()
圖 | 創(chuàng)始團(tuán)隊(duì)(來源:受訪者提供)
實(shí)時(shí)監(jiān)控百余項(xiàng)生理與情緒參數(shù)
故事始于 2022 年的暑假。彼時(shí),正在清華讀大三的唐健凱參與了與華盛頓大學(xué)的聯(lián)合項(xiàng)目,第一次接觸到“通過自拍測心率”的課題。
“一開始其實(shí)挺心虛的,這事對誰來說可能都有點(diǎn)奇怪”,唐健凱回憶道,“那時(shí)候的技術(shù)在實(shí)驗(yàn)室里很完美,但一到現(xiàn)實(shí)環(huán)境,人稍作移動(dòng)、光照環(huán)境一變,監(jiān)測精度就會(huì)大幅下降。”
唐健凱所說的技術(shù),正是遠(yuǎn)程光電容積描記技術(shù),這是一種通過普通攝像頭,在不接觸人體的情況下,遠(yuǎn)程監(jiān)測心率、呼吸和血氧等生理參數(shù)的技術(shù)。
具體來說,人體每次心跳引起的血液流動(dòng)會(huì)造成皮膚組織的微血管中血量的周期性變化,進(jìn)而導(dǎo)致皮膚吸收和反射光具有周期性規(guī)律,具體表現(xiàn)為皮膚表面顏色的周期性變化,盡管人眼無法分辨這一微小變化,但是通過攝像頭可以捕捉,通過分析該信號可以獲取脈搏率、呼吸率和血氧飽和度等生理指標(biāo)。
“所以,本質(zhì)上來講,我們測的是皮膚微小顏色變化的速度。”唐健凱補(bǔ)充道。
在那個(gè)暑假快結(jié)束的時(shí)候,唐健凱及團(tuán)隊(duì)成員利用攝像頭成功捕捉到了心跳。在后續(xù)研發(fā)中,他們建成了全球首個(gè)基于手持手機(jī)采集的多模態(tài)生理數(shù)據(jù)庫,并將整套處理流程標(biāo)準(zhǔn)化開源為 rPPG-Toolbox,供全球研究者使用。
也正是在這次實(shí)踐中,通過完整搭建攝像頭采集、算法實(shí)現(xiàn)與測試的全套系統(tǒng),唐健凱驗(yàn)證了原理的可行性,并下定決心將其做成產(chǎn)品。“原理通了,剩下的就是用 AI 和更多數(shù)據(jù)去消除噪聲。”
rPPG 通過普通攝像頭捕捉面部皮膚微弱顏色變化來提取心率、呼吸等信號時(shí),信號強(qiáng)度極弱,僅占總背景的 0.1%–1%,極易被環(huán)境噪聲淹沒,包括運(yùn)動(dòng)偽影、光影干擾、膚色差異等。
比如當(dāng)受試者說話、頭部晃動(dòng)或手持設(shè)備拍攝時(shí),皮膚像素在圖像中的位置會(huì)發(fā)生偏移,產(chǎn)生巨大的非生理性信號波動(dòng);環(huán)境光線的明暗變化、陰影遮擋或車內(nèi)快速移動(dòng)產(chǎn)生的動(dòng)態(tài)光源,會(huì)直接改變相機(jī)捕捉到的顏色數(shù)值。
為了解決該問題,唐健凱及團(tuán)隊(duì)采集了不同膚色、不同生理狀態(tài)、不同場景下的海量數(shù)據(jù),通過 AI 算法和底層優(yōu)化讓算法學(xué)會(huì)在復(fù)雜環(huán)境中提取有效信號,最終實(shí)現(xiàn)了心率監(jiān)測誤差< 0.7BPM 的醫(yī)療級精度、響應(yīng)速度低至<10ms,建立起堅(jiān)實(shí)的技術(shù)壁壘。
如今,微面科技僅憑一顆攝像頭,即可實(shí)時(shí)輸出 100 余項(xiàng)生理與情緒參數(shù),還能連續(xù)監(jiān)測眼動(dòng)軌跡,實(shí)現(xiàn)視線追蹤、注視分析等功能。更重要的是,微面科技實(shí)現(xiàn)了端側(cè)本地化部署,無需將視頻傳到云端,在毫秒級響應(yīng)的同時(shí),從底層規(guī)避了隱私泄露的風(fēng)險(xiǎn)。
![]()
(來源:受訪者提供)
“其中,心率、血氧飽和度以及情緒識(shí)別功能已經(jīng)較為成熟,可以通過攝像頭捕捉表情和心率變異性的指征來判斷用戶的情緒狀態(tài),甚至能初步識(shí)別抑郁傾向。”
唐健凱解釋道,心率變異性是指連續(xù)心跳間隔的時(shí)間變化,是評估自主神經(jīng)系統(tǒng)功能的非侵入性指標(biāo)。近年來,心率變異性相關(guān)指標(biāo)被應(yīng)用于個(gè)體抑郁的檢測和評估中。研究發(fā)現(xiàn),抑郁與心率變異性呈負(fù)相關(guān),即抑郁或長期壓力患者的心率變異性通常偏低。
做機(jī)器人的“眼睛”
目前,微面科技的 rPPG 技術(shù),已在嬰兒健康監(jiān)測、康養(yǎng)機(jī)器人、智能座艙、醫(yī)院臨床驗(yàn)證等領(lǐng)域落地。
比如,在嬰兒健康檢測上,通過紅外補(bǔ)光實(shí)現(xiàn)夜間零干擾監(jiān)測,能實(shí)時(shí)捕捉寶寶的心率、呼吸、睡眠狀態(tài),甚至哭鬧行為,一旦出現(xiàn)生理指標(biāo)異常,便會(huì)第一時(shí)間向家長的手機(jī)推送告警。據(jù)悉,團(tuán)隊(duì)還做了專項(xiàng)算法優(yōu)化,即使寶寶輕微移動(dòng),MAR 算法也能有效去除運(yùn)動(dòng)偽影,保證監(jiān)測精度。
在汽車上,可以通過智能攝像頭實(shí)時(shí)監(jiān)測駕駛員和乘客的健康狀態(tài),提前預(yù)警疲勞駕駛和情緒變化,以及監(jiān)控車內(nèi)嬰幼兒健康,提升行車安全。據(jù)唐健凱透露,該技術(shù)已獲得車企認(rèn)可,計(jì)劃于下一代“健康汽車”集成此功能,實(shí)現(xiàn)車內(nèi)健康數(shù)據(jù)的實(shí)時(shí)匯報(bào)。
在醫(yī)療康養(yǎng)領(lǐng)域,微面科技正與安貞醫(yī)院展開深度產(chǎn)學(xué)研合作,共同完成了上千人規(guī)模的臨床隊(duì)列驗(yàn)證,數(shù)據(jù)覆蓋多病種、多年齡層,為算法的醫(yī)療級精度提供了有力的臨床支撐。唐健凱透露,“雙方共同研發(fā)的‘健康鏡’兼顧算法與硬件一體化設(shè)計(jì),將傳統(tǒng)的復(fù)雜束縛式醫(yī)療監(jiān)測優(yōu)化為非接觸的快速篩查方式,得到了臨床專家與患者群體的一致認(rèn)可,具備廣泛的社會(huì)價(jià)值與推廣前景。”
![]()
(來源:受訪者提供)
除了深耕垂直場景,微面科技還將目光投向了極具想象力的機(jī)器人賽道。在唐健凱看來,rPPG 技術(shù)可以成為機(jī)器人的“眼睛”——一套能讓機(jī)器真正“看見”生理與情感的感知系統(tǒng)。
他解釋道,無論是服務(wù)機(jī)器人、康養(yǎng)陪護(hù)機(jī)器人,還是正在規(guī)模落地的人形機(jī)器人,都迫切需要具備對使用者生理狀態(tài)與情緒意圖的實(shí)時(shí)感知能力。微面科技的 rPPG 視覺感知模塊,則可作為標(biāo)準(zhǔn)化感知組件嵌入各類機(jī)器人平臺(tái),賦予機(jī)器人“讀懂人”的能力。
目前,該公司已完成數(shù)百萬美元的融資,用于加速核心算法迭代、拓展行業(yè)應(yīng)用場景,并推進(jìn)機(jī)器人感知模塊的規(guī)模化商業(yè)部署。
創(chuàng)業(yè)的路上并非一帆風(fēng)順,唐健凱團(tuán)隊(duì)也曾經(jīng)歷過商業(yè)模式的試錯(cuò)。2024 年,他們曾參考海外模式推出健康平臺(tái),試圖通過線上醫(yī)療問診抽成實(shí)現(xiàn)商業(yè)化,卻忽略了中國醫(yī)療體系的特點(diǎn)——國內(nèi)線下問診效率高,線上輕問診的需求遠(yuǎn)不如海外,這次嘗試并未取得預(yù)期效果。
之后,團(tuán)隊(duì)調(diào)整方向,深耕非接觸生理情緒感知領(lǐng)域,陸續(xù)推出了基于瀏覽器的網(wǎng)頁版實(shí)時(shí)監(jiān)測系統(tǒng)以及面向個(gè)人用戶的 APP,并完成了 C01、KY01 型號智能攝像頭及 FINDINGS 科研級采集主機(jī)的研發(fā)工作。
如今,微面科技已構(gòu)建起覆蓋云端 API/SDK、整組模式、插件模式的集成方案:云端 API/SDK 方案實(shí)現(xiàn)零硬件改動(dòng)、2 周快速對接,采用 SaaS 訂閱制;整組模式提供深度定制,完整攝像頭模組交付,算法固化于芯片,低延遲低功耗,適配旗艦級規(guī)模量產(chǎn);插件模式可串聯(lián)現(xiàn)有攝像頭,不改變原有架構(gòu),實(shí)現(xiàn)快速部署升級。
談及未來,唐健凱的愿景清晰而堅(jiān)定:讓千萬臺(tái)機(jī)器更有“情商”,讓機(jī)器人不僅看到世界,更能讀懂人的生理與情感。
運(yùn)營/排版:何晨龍
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.