![]()
1975 年的冬天,柯達(dá)應(yīng)用電子研究中心的工程師 Steven Sasson,在實(shí)驗室里拼湊出了一臺古怪機(jī)器。
它重達(dá) 8 磅、僅 1 萬像素,按下快門后,需聽著沉悶的機(jī)器運(yùn)轉(zhuǎn)聲等待漫長的 23 秒,才能將一張黑白照片寫入到飛利浦卡式磁帶里。
面對極低的像素和數(shù)據(jù)存儲速度,Steven Sasson 認(rèn)為這玩意還需要 15 到 20 年才能真正和膠卷競爭。
![]()
之后二十年,影像行業(yè)滄海桑田。影像載體加速數(shù)字化,并在二十一世紀(jì)的頭一個十年,終于如 Steven Sasson 所愿,終結(jié)了膠卷時代。但那時,相機(jī)依舊屬于「家庭重資產(chǎn)」,人類還沒法隨心所欲地拍照,更遑論視頻創(chuàng)作。
直到移動影像時代來臨。
剛剛發(fā)布的 vivo X300 Ultra,搭載第五代驍龍 8 至尊版,拋出了一個令人側(cè)目的規(guī)格:全焦段 4K 120 幀 10-bit Log 視頻。
此時回頭看去,才發(fā)現(xiàn)人類用五十年的時間,建造了一條數(shù)字大運(yùn)河,并讓每個人都能行船其上。
底層擴(kuò)容,鯨吞光影
這條運(yùn)河里奔涌的河水,本質(zhì)上就是海量的「密集影像信號」。
這個聽起來頗為學(xué)術(shù)、有些距離的詞,實(shí)際與每個舉起手機(jī)按快門的人息息相關(guān)——
回想一下早年的智能手機(jī),你一定對這樣的畫面不陌生:高光死白、暗部死黑、色彩斷層、幀數(shù)不高,還伴隨著揮之不去的噪點(diǎn)。
![]()
▲ iPhone 4s 拍攝的夜景畫面,圖片來自@PhoneArena
視覺上的災(zāi)難,本質(zhì)上都是因為底層圖像信號處理器(也就是我們更熟悉的 ISP)「咽不下」龐大的信號。
那時的手機(jī)只有 8-bit 的量化精度。一旦環(huán)境光比超過傳感器的承載極限,高光區(qū)域的電平就會發(fā)生不可逆溢出,變成一片死白;而信號的暗部,則會被 ISP 粗暴地抹平成一團(tuán)帶有噪點(diǎn)的死黑。并且物理級的信息丟失,任何后期軟件都無力回天。
這個痛點(diǎn),比我們想象中更持久。
廠商曾試圖用增大傳感器面積換取更大的動態(tài)范圍解決這個問題。但時至今日,在極度受限的機(jī)身內(nèi)部,單純堆疊物理尺寸的路徑已逼近極限,后端 ISP 變得愈發(fā)重要。
![]()
▲ 手機(jī)內(nèi)部空間已經(jīng)被影像模組與電池瓜分,圖片來自@Notebookcheck
過去很長一段時間,受限于物理規(guī)格,手機(jī)的算力中樞停留在 14-bit 雙 ISP 階段,隨著傳感器捕捉的信息愈發(fā)龐大,ISP 的數(shù)據(jù)管道必須隨之拓寬。
從 2020 年驍龍 888 引入 14-bit 三 ISP 以應(yīng)對并發(fā)數(shù)據(jù),到后來 Spectra ISP 迭代至 18-bit,移動平臺將影像數(shù)據(jù)的處理帶寬擴(kuò)容了 4096 倍。如今,為了承載更密集的影像信號,vivo X300 Ultra 搭載的第五代驍龍 8 至尊版 Qualcomm Spectra ISP 順理成章地邁入了 20-bit AI 三 ISP 時代。
![]()
別小看這區(qū)區(qū) 2-bit。在數(shù)字底層,這個單位的任何變化都呈指數(shù)級海嘯:單通道色彩的量化層級從 26 萬平穩(wěn)過渡到了 104 萬級,為底層數(shù)據(jù)提供了 4 倍的動態(tài)范圍余量。
依托這層寬裕的物理基底,vivo 與高通在底層影像管線上,完成了深度的聯(lián)合調(diào)優(yōu)。
結(jié)果也很生猛:X300 Ultra 實(shí)現(xiàn)了全焦段 14EV 的動態(tài)范圍覆蓋。
這股龐大的數(shù)據(jù)余量,被悉數(shù)灌注進(jìn)了兩個極其考驗底層的專業(yè)規(guī)格中——Log 格式,與杜比視界。
在 Log 模式下,20-bit AI 三 ISP 負(fù)責(zé)將傳感器捕捉到的線性信號,實(shí)時映射為對數(shù)曲線。由于底層采樣精度的提升,手機(jī)保留了更豐富的原始信息,從而在后期調(diào)色時能有效抑制色階斷層,擴(kuò)展了后期處理的邊界;而在杜比視界標(biāo)準(zhǔn)下,算力則體現(xiàn)為對動態(tài)元數(shù)據(jù)(Dynamic Metadata)的封裝精度。它能夠更準(zhǔn)確地對準(zhǔn)每一幀的亮度與對比度信息,使高光與暗部的 HDR 層次得到如實(shí)呈現(xiàn)。
![]()
落實(shí)到實(shí)際體驗上,效果也很明顯——我們帶著 X300 Ultra 去拍攝了一場「熱帶極光」,憑借 Log 格式極其優(yōu)秀的動態(tài)范圍與寬容度,我們在夜半時分記錄到離島的漁船照亮了天際。
經(jīng)過后期還原后,漸變的天空過渡自然柔和,沒有出現(xiàn)色彩斷層,噪點(diǎn)抑制表現(xiàn)堪稱優(yōu)秀。
![]()
至此,原本屬于影視工業(yè)的寬容度規(guī)格被集成進(jìn)移動芯片,在底層鑿出一條數(shù)字運(yùn)河的航道。普通人也就能隨時隨地、以手機(jī)拍攝出更高規(guī)格且具備后期空間的視頻,進(jìn)而有了更多的創(chuàng)作可能。
多攝并發(fā),變焦絲滑
解決了單顆鏡頭的明暗寬容度,只是完成了靜態(tài)畫面的重構(gòu)。
但視頻的核心在于敘事的連貫性,這就引出了移動影像長久以來的另一個痛點(diǎn):變焦卡頓。
在拍攝視頻時,我們常需要推拉鏡頭來切換視角。但滑動變焦環(huán)時,畫面往往會伴隨一陣不易察覺的跳動,色彩和白平衡也會發(fā)生突兀的偏轉(zhuǎn)。
影像的敘事感,就這樣被硬件的遲鈍瞬間撕裂。
癥結(jié)在于手機(jī)內(nèi)部的鏡頭各自為戰(zhàn)。它們素質(zhì)各異且受控于獨(dú)立時鐘,傳統(tǒng) ISP 的「冷啟動」策略只能在變焦瞬間倉促切換。時間戳一旦錯位,畫面的跳幀與色彩斷層便注定發(fā)生。
![]()
▲ 傳統(tǒng)專業(yè)攝影中,時間戳的對齊需要參照全球時間
要在移動設(shè)備上實(shí)現(xiàn)順滑的變焦推拉,就必須在底層強(qiáng)行打通這些相互獨(dú)立的硬件。
在 vivo X300 Ultra 實(shí)現(xiàn)全焦段高規(guī)格視頻錄制的背后,第五代驍龍 8 至尊版用兩套相互咬合的底層機(jī)制將硬件扣合起來——
20-bit AI 三 ISP 撐起龐大數(shù)據(jù)吞吐,讓三顆鏡頭得以在后臺保持熱并發(fā)狀態(tài)。即使當(dāng)前只用主攝錄制,超廣角和長焦的 ISP 通道也已經(jīng)在后臺同步運(yùn)行著 3A(自動對焦、自動曝光、自動白平衡)算法,為隨時上場熱好身。
![]()
與此同時,第五代驍龍 8 至尊版的高通多攝同步系統(tǒng)(MSCC),扎進(jìn)最底層的硬件總線,給這些原本各自為戰(zhàn)的鏡頭,強(qiáng)制下發(fā)了一個統(tǒng)一的「全局時鐘」。
廣角、超廣角、長焦。
無論它們的物理位置有多遠(yuǎn),傳感器素質(zhì)有多大差異,底層的死命令只有一個:
在同一個微秒,同時曝光;在同一個瞬間,讀取數(shù)據(jù)。
時間軸,被徹底鎖死。
![]()
兩套機(jī)制并發(fā)運(yùn)行,以此換取 vivo X300 Ultra 跨鏡頭推拉時,不同傳感器之間的數(shù)據(jù)交接平穩(wěn)過渡,從而緩解了跳幀與白平衡漂移的痼疾。
專業(yè)影像領(lǐng)域如河流般暗流涌動,如果沒有堅固巨艦為依托、嚴(yán)密的團(tuán)隊做協(xié)同,不得逐浪其中。
如今,底層芯片的算力在小小的機(jī)身內(nèi)部,用數(shù)字邏輯管控物理秩序,讓沒有資金與團(tuán)隊的創(chuàng)作者,也能泛舟而行。
編解碼,與算力雙向奔赴
在影像領(lǐng)域,長期存在著一個反直覺的「算力悖論」:
在普遍認(rèn)知中,相機(jī)處理器并非性能怪獸,卻能吞吐洪流般的超高規(guī)格視頻數(shù)據(jù);我們手中搭載著強(qiáng)悍 SoC、能夠高幀渲染游戲大作的智能手機(jī),但在持續(xù)的極致影像記錄時捉襟見肘。
究其根本,相機(jī)的處理器(ASIC)生來只為影像服務(wù);而手機(jī)作為復(fù)雜的數(shù)字樞紐,真正留給影像的算力其實(shí)并不富裕。
算力的拮據(jù),逼迫過去的手機(jī)不得不向存儲空間妥協(xié)——普遍采用 H.264 或 H.265 等幀間壓縮(Long GOP)格式,只記錄關(guān)鍵幀和差異信息。這種做法極大地壓縮了體積,卻也徹底破壞了畫面的物理空間信息。
![]()
▲ H.264 編解碼原理,圖片來自@ResearchGate
沒有后期的底氣,所有的前期快門都不過是碰運(yùn)氣。
一旦將這種素材導(dǎo)入剪輯軟件進(jìn)行二級調(diào)色,哪怕只是輕微拉扯一下陰影或高光曲線,畫面立刻會暴露出大面積的馬賽克色塊與嚴(yán)重的色彩斷層。
后期的調(diào)色空間被死死鎖住,創(chuàng)意的落地、創(chuàng)作的可行,都無從談起。
隨著 vivo X300 Ultra 上市,長期以來的固有認(rèn)知正在失效,4K 120fps Log 這類專業(yè)格式,來到手掌的方寸之間。
除了 20-bit AI 三 ISP 的持續(xù)發(fā)力,讓有著高后期空間、創(chuàng)意可能的格式來到我們手上,此外,編解碼器也功不可沒——在 vivo X300 Ultra 上,vivo 與高通互相協(xié)作,成為國內(nèi)首個落地 APV 422 編碼的智能手機(jī)。
APV 采用的是專為非線性編輯(NLE)打造的「幀內(nèi)壓縮」,將每一幀畫面的色彩深度與亮度信息獨(dú)立、完整地封存起來。將 APV 422 格式的素材在達(dá)芬奇中調(diào)色,畫面會展現(xiàn)出相當(dāng)強(qiáng)的韌性,在應(yīng)對節(jié)點(diǎn)式操作或復(fù)雜的 LUT 映射時,也能有效支撐起暗部細(xì)節(jié)與高光過渡,大幅減少了以往手機(jī)視頻一拉曲線就出現(xiàn)馬賽克與色階斷層的尷尬。
![]()
更友好的是,在提供與影視標(biāo)桿 ProRes 幾乎同等極致畫質(zhì)的前提下,APV 的底層編碼機(jī)制讓文件體積進(jìn)一步降低了約 10%。
在內(nèi)存價格飛漲的大環(huán)境下,編碼效率提升有助于創(chuàng)作者開源節(jié)流,能省下不少錢。
性能與編解碼器技術(shù)的雙向奔赴,為這條大運(yùn)河打造了高規(guī)格的「數(shù)字集裝箱」,將信號完整且順暢地運(yùn)送到后期工作流,手機(jī)得以擁有與專業(yè)數(shù)字電影機(jī)全鏈路閉環(huán)無二的創(chuàng)作潛力。
移動影像抵達(dá)入海口
2014 年,vivo 推出 Xshot 拍照旗艦,與 X 超薄、Xplay 大屏兩臺機(jī)型一起組成三位一體產(chǎn)品線。
這臺手機(jī)搭載 1300 萬像素的索尼第二代堆棧式傳感器、F1.8 的大光圈、光學(xué)防抖和雙色溫補(bǔ)光燈。而另一個沒那么引人注目的配置,是 Xshot 配備的驍龍 801 處理器引入了雙 ISP 架構(gòu),用以解決快門遲滯問題,并為高頻作用的 OIS 光學(xué)防抖計算補(bǔ)償角度,提供算力支持。
![]()
▲ vivo Xshot,圖片來自@vivo
用底層算力輔助物理防抖的工程雛形,在今天演變?yōu)榈谖宕旪?8 至尊版上 OIS 與 EIS 極高頻數(shù)據(jù)握手的全焦段防抖鏈路。
非常巧妙的呼應(yīng)。
此后十余年,手機(jī)影像能力一路狂奔,所產(chǎn)生的數(shù)據(jù)從溪流匯聚成洪流。 承載洶涌信息的河道,也持續(xù)擴(kuò)容。
回溯至 X100 Ultra,行業(yè)首次將 2 億像素長焦塞入受限的機(jī)身時,瞬間快門帶來龐大數(shù)據(jù)擁堵。高通引入認(rèn)知 ISP(Cognitive ISP),在底層提供了硬件級的實(shí)時語義分割與算力冗余,讓高像素的數(shù)據(jù)吞吐不再伴隨漫長的處理黑屏,干凈利落。
![]()
到了確立專業(yè)影像基調(diào)的 X200 Ultra,戰(zhàn)線被推進(jìn)至更為嚴(yán)苛的暗光 4K 視頻。面對極低信噪比的環(huán)境,依托驍龍底層的異構(gòu)計算平臺,影像架構(gòu)完成了從傳統(tǒng) ISP 向 NPU(神經(jīng)網(wǎng)絡(luò)處理器)的深度交接。通過將 AI 算力前置到 RAW 域進(jìn)行幀級降噪,手機(jī)終于跨越了小尺寸傳感器在夜景視頻中的進(jìn)光量枷鎖,實(shí)現(xiàn)了干凈、可用的動態(tài)記錄。
每一次前端模組與傳感器的激進(jìn)探索,都在對底層的吞吐能力發(fā)出嚴(yán)苛拷問。
如今,在 X300 Ultra 上,這場向底層索要寬容度的漫長工程,終于觸碰到了工業(yè)級影像標(biāo)準(zhǔn)的邊界。
![]()
回頭,移動影像從「拍到」到「拍好」的河道蜿蜒漫長;前眺,從「記錄」邁向「創(chuàng)作」的汪洋近在眼前。
數(shù)據(jù)洪流激蕩交匯,驍龍筑起的河床向?qū)挾小?/strong>
移動影像,終于在此刻抵達(dá)入海口。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.