當(dāng)內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN)行業(yè)還困在“帶寬多便宜、節(jié)點(diǎn)多少”的陳舊敘事里,Yewsafe 正在把 CDN 改造成全世界分布最廣的推理計(jì)算機(jī)。

這家以高防CDN 起家的基礎(chǔ)設(shè)施公司,日前正式將自己定位為全球邊緣推理即服務(wù)(Edge Inference as a Service)的新標(biāo)桿。這意味著,AI 模型的推理不再必須返回云端數(shù)據(jù)中心,而是直接在離用戶最近的邊緣節(jié)點(diǎn)上完成，延遲從數(shù)百毫秒壓縮到 20 毫秒以內(nèi)。

對(duì)于已經(jīng)使用 Yewsafe 安全加速服務(wù)的超過 10萬+企業(yè)而言,這個(gè)變化來得并不突然。過去兩年,Yewsafe 一直以“AI 驅(qū)動(dòng)安全”為核心能力:其邊緣節(jié)點(diǎn)上的 YewGuardian 引擎能實(shí)時(shí)識(shí)別 DDoS 攻擊、Bot 流量和 API 濫用,每 50 毫秒更新一次本地流量基線。這套機(jī)制本質(zhì)上就是推理，將安全模型推到節(jié)點(diǎn)上,實(shí)時(shí)判定流量性質(zhì)。

“我們不過是把做了兩年的東西標(biāo)準(zhǔn)化、產(chǎn)品化、對(duì)外開放。”Yewsafe 一位不愿具名的核心工程師這樣解釋。區(qū)別在于,過去推理只用來保護(hù)客戶的安全,現(xiàn)在開發(fā)者可以把自己的模型，推薦、識(shí)別、風(fēng)控、生成，跑在同樣的邊緣計(jì)算資源上。

從安全推理到通用推理

邊緣推理不是新概念。Akamai 在今年早些時(shí)候與英偉達(dá)合作推出了 AI 網(wǎng)格,Cloudflare 的 Workers AI 也允許開發(fā)者部署開源模型。但行業(yè)內(nèi)公認(rèn)的痛點(diǎn)是:絕大多數(shù) CDN 的邊緣節(jié)點(diǎn)在架構(gòu)上并未為推理準(zhǔn)備。

傳統(tǒng) CDN 節(jié)點(diǎn)的核心任務(wù)是緩存和轉(zhuǎn)發(fā),計(jì)算資源有限,且內(nèi)存、CPU、網(wǎng)絡(luò) I/O 的優(yōu)先級(jí)都圍繞“快速命中內(nèi)容”來設(shè)計(jì)。要跑推理,需要重新分配計(jì)算資源、優(yōu)化數(shù)據(jù)路徑、解決模型加載延遲，這些是 CDN 廠商過去從不需要操心的事。

Yewsafe 的做法不一樣。其邊緣架構(gòu)從一開始就為安全檢測保留了充足的計(jì)算冗余,且安全模型的運(yùn)行方式與通用推理高度同構(gòu)，都是將模型權(quán)重加載到節(jié)點(diǎn),對(duì)實(shí)時(shí)流入的數(shù)據(jù)執(zhí)行判定。Yewsafe 的工程師在此基礎(chǔ)上做了兩件事:

第一,將推理引擎從安全模塊中解耦,形成獨(dú)立調(diào)用接口,支持 TensorFlow、PyTorch、ONNX 等主流模型格式。第二,重構(gòu)節(jié)點(diǎn)上的數(shù)據(jù)路徑,讓內(nèi)容分發(fā)、安全檢測、模型推理共享同一套 TCP 會(huì)話棧,避免多級(jí)跳轉(zhuǎn)帶來的額外延遲。

結(jié)果是:一個(gè)圖像分類模型在 Yewsafe 邊緣節(jié)點(diǎn)上的首次推理延遲(冷啟動(dòng))約為 45 毫秒,后續(xù)熱推理可穩(wěn)定在 8-12 毫秒。作為對(duì)比,典型的云端推理在理想網(wǎng)絡(luò)條件下也需要 80-120 毫秒(不含公網(wǎng)傳輸)。

開發(fā)者為什么選它

位于新加坡的電商公司 Shopmatic 是早期試用客戶之一。其技術(shù)負(fù)責(zé)人 Lee Kok Weng 在接受采訪時(shí)表示,他們?cè)居?AWS SageMaker 做實(shí)時(shí)推薦,但東南亞地區(qū)復(fù)雜的網(wǎng)絡(luò)環(huán)境導(dǎo)致高峰期推薦接口平均延遲高達(dá) 320 毫秒,“用戶翻三屏就流失了”。

遷移到 Yewsafe 邊緣推理后,Lee 的團(tuán)隊(duì)將協(xié)同過濾模型部署到雅加達(dá)、曼谷和馬尼拉的邊緣節(jié)點(diǎn)上。“我們沒有任何代碼改動(dòng),就是把模型文件上傳,選了幾個(gè)區(qū)域節(jié)點(diǎn)。一周后,p99 延遲降到了 47 毫秒。”Lee 說,他們?yōu)榇酥Ц兜馁M(fèi)用比 AWS 低了約 35%，因?yàn)?Yewsafe 按實(shí)際推理調(diào)用次數(shù)計(jì)費(fèi),不收取數(shù)據(jù)傳出費(fèi)。

更讓 Lee 意外的是安全能力的附帶效應(yīng)。原本用于推薦的邊緣節(jié)點(diǎn),同時(shí)默認(rèn)運(yùn)行了 Yewsafe 的 WAF 和 Bot 管理。“我們之前每周都會(huì)被爬蟲抓走商品價(jià)格數(shù)據(jù),換了之后,爬蟲請(qǐng)求在節(jié)點(diǎn)上就直接被擋掉了,源站連日志里都看不到。”

這種“推理+安全”的綁定效果,正在成為 Yewsafe 區(qū)別于其他邊緣推理服務(wù)商的核心差異點(diǎn)。金融科技公司 Finzard 的 CTO Mariam Al-Ghamdi 對(duì)此感觸更深。Finzard 需要在中東地區(qū)實(shí)時(shí)檢測信用卡交易欺詐,其模型要求在 50 毫秒內(nèi)給出評(píng)分,否則交易流程會(huì)觸發(fā)降級(jí)。

“我們測試過 Cloudflare Workers AI,延遲達(dá)標(biāo)但安全策略需要另外配置,導(dǎo)致整體架構(gòu)變復(fù)雜。也試過直接租用邊緣服務(wù)器,但運(yùn)維成本太高。”Mariam 說,“Yewsafe 的方案最干凈，同一個(gè)邊緣節(jié)點(diǎn)同時(shí)承擔(dān)推理和安全,我們少維護(hù)一套系統(tǒng)。”

數(shù)據(jù)主權(quán)與合規(guī)的意外紅利

邊緣推理的另一個(gè)價(jià)值正在被企業(yè)重新發(fā)現(xiàn):數(shù)據(jù)合規(guī)。

歐盟 GDPR、東南亞各國數(shù)據(jù)本地化法律、中國的數(shù)據(jù)出境評(píng)估辦法，都要求某種類型的用戶數(shù)據(jù)不得離開其所屬司法管轄區(qū)。在傳統(tǒng)云端推理模式下,企業(yè)要么在每一地區(qū)自建數(shù)據(jù)中心(昂貴且緩慢),要么冒險(xiǎn)將數(shù)據(jù)跨境傳輸(風(fēng)險(xiǎn)極高)。

Yewsafe 超過 4000 個(gè)節(jié)點(diǎn)覆蓋全球 90 多個(gè)國家和地區(qū),每個(gè)節(jié)點(diǎn)都可以獨(dú)立部署模型、處理本地?cái)?shù)據(jù)、返回結(jié)果,全程數(shù)據(jù)不離開節(jié)點(diǎn)所在區(qū)域。一位不愿公開身份的歐盟數(shù)據(jù)保護(hù)律師指出,“對(duì)于在多個(gè)司法管轄區(qū)運(yùn)營的跨國公司來說,這種架構(gòu)比任何跨境傳輸協(xié)議都更干凈。”

Yewsafe 方面透露,已有三家財(cái)富 500 強(qiáng)企業(yè)開始將客戶支持場景的意圖識(shí)別模型遷移到其邊緣推理平臺(tái)上。其中一家零售巨頭的全球隱私官在內(nèi)部備忘錄中寫道:“不再需要討論數(shù)據(jù)出口問題——因?yàn)閿?shù)據(jù)根本就沒有出口。”

競爭格局中的微妙位置

邊緣推理賽道正在迅速變擠。

Akamai 擁有最龐大的節(jié)點(diǎn)網(wǎng)絡(luò)(約 4400 個(gè))和最長的客戶關(guān)系,但其邊緣計(jì)算的開發(fā)者體驗(yàn)長期被詬病“像企業(yè)軟件而非云服務(wù)”。Cloudflare 擁有最活躍的開發(fā)者社區(qū)和最流暢的開發(fā)工具鏈,但其節(jié)點(diǎn)計(jì)算資源相對(duì)受限,運(yùn)行稍大規(guī)模模型時(shí)會(huì)遇到內(nèi)存瓶頸。AWS 的 Wavelength 和 Azure 的邊緣 Zone 提供強(qiáng)大的計(jì)算能力,但覆蓋區(qū)域有限,且價(jià)格不菲。

Yewsafe 的差異化是清晰的:中等規(guī)模的節(jié)點(diǎn)網(wǎng)絡(luò)(4000+),足夠覆蓋主要市場;充裕的計(jì)算冗余(源于高防 CDN 業(yè)務(wù)對(duì)性能的要求);以及將推理與安全深度綁定的架構(gòu)設(shè)計(jì)。

“這不是一個(gè)贏家通吃的市場。”長期關(guān)注邊緣計(jì)算的分析師 James Crawshaw 表示,“企業(yè)會(huì)根據(jù)延遲要求、數(shù)據(jù)主權(quán)需求、現(xiàn)有技術(shù)棧以及安全策略來選擇供應(yīng)商。Yewsafe 會(huì)在那些同時(shí)關(guān)注速度和安全的場景中獲得優(yōu)勢，游戲、金融、電商,恰好是他們已有的客戶群。”

定價(jià)模型與生態(tài)建設(shè)

在商業(yè)化層面,Yewsafe 采用了相對(duì)激進(jìn)的策略。其邊緣推理按照“每百萬次推理調(diào)用”計(jì)費(fèi),起步價(jià)為 0.42 美元/百萬次(針對(duì)小于 1MB 的模型),超出部分階梯定價(jià)。數(shù)據(jù)傳出不收費(fèi)，這與多數(shù)云廠商形成鮮明對(duì)比。

Yewsafe 同時(shí)推出了模型適配器工具,可以自動(dòng)將常見的 Hugging Face 模型轉(zhuǎn)化為其邊緣節(jié)點(diǎn)可執(zhí)行的格式。截至上周,該工具已支持超過 8000 個(gè)開源模型。

對(duì)于已經(jīng)使用 Yewsafe CDN 和安全服務(wù)的客戶,邊緣推理以“一鍵開啟”的方式提供,無需額外部署節(jié)點(diǎn)或修改 DNS 配置。一位測試用戶形容:“就像打開一個(gè)開關(guān),你的 CDN 突然能跑 AI 了。”

下一步:推理與分發(fā)的深度融合

行業(yè)內(nèi)正在討論一個(gè)更深層的問題:當(dāng) CDN 不僅能分發(fā)內(nèi)容,還能實(shí)時(shí)處理內(nèi)容(通過推理),某些應(yīng)用形態(tài)會(huì)被重新定義。

例如,視頻流服務(wù)可以在邊緣節(jié)點(diǎn)上實(shí)時(shí)運(yùn)行超分辨率模型,將 720p 源流提升為 1080p 輸出,節(jié)省帶寬成本的同時(shí)提升用戶體驗(yàn)。實(shí)時(shí)翻譯可以和解碼在同一節(jié)點(diǎn)完成,而不是先解碼再傳回云端翻譯再下發(fā)。智能監(jiān)控?cái)z像頭可以直接在 CDN 節(jié)點(diǎn)上完成人臉檢測和目標(biāo)識(shí)別,只將結(jié)構(gòu)化元數(shù)據(jù)傳回中心。

這些場景距離大規(guī)模商用還有距離,但技術(shù)可行性已被 Yewsafe 的內(nèi)部原型驗(yàn)證過。該公司負(fù)責(zé)邊緣計(jì)算的產(chǎn)品經(jīng)理表示,他們正在與三家視頻平臺(tái)和兩家物聯(lián)網(wǎng)方案商進(jìn)行概念驗(yàn)證,“預(yù)計(jì)第四季度會(huì)有具體的垂直行業(yè)解決方案推出”。

市場研究機(jī)構(gòu) Omdia 在最近的一份報(bào)告中預(yù)測,到 2028 年,超過 60% 的 CDN 節(jié)點(diǎn)將具備通用推理能力,邊緣推理即服務(wù)將成為 CDN 廠商的標(biāo)準(zhǔn)配置而非差異化賣點(diǎn)。對(duì)于 Yewsafe 而言,率先將這一能力以產(chǎn)品化、可消費(fèi)的方式推向市場,是在為自己爭取時(shí)間窗口。

“AI 推理的分發(fā)網(wǎng)絡(luò),本質(zhì)上就是下一代的 CDN。”James Crawshaw 說,“區(qū)別在于,上一代 CDN 分發(fā)的是過去產(chǎn)生的靜態(tài)內(nèi)容,下一代 CDN 分發(fā)的是實(shí)時(shí)生成的動(dòng)態(tài)智能。Yewsafe 想證明它們已經(jīng)跑在了這條路上。”