![]()
與鄧力走上相似道路的俞棟,能否延續(xù)過往的成績與輝煌?
作者丨成仲軒
編輯丨董子博
近日,原騰訊 AI Lab 副主任、首席科學(xué)家俞棟被曝加入 Capital One,擔(dān)任 VP 一職,負責(zé) AI Foundations 的相關(guān)工作。
俞棟去往 Capital One 的決定,其實不難理解——過去他在西雅圖 AI 實驗室的前同事們,有一些早已先一步加入了 Capital One,俞棟加入,某種程度上也是和老同事們“再續(xù)前緣”。
Capital One 雖然是一家金融公司,但在 AI 賽道也不惜重金布局,在大語言模型和 Agentic AI 的領(lǐng)域都有涉獵。
近些年,除了俞棟,騰訊前 AI Lab NLP 中心負責(zé)人史樹明,百度智能云產(chǎn)品一部前負責(zé)人喻友平、微軟前首席人工智能科學(xué)家鄧力等人在內(nèi),越來越多的技術(shù)大佬正選擇加入金融公司,卻也是不爭的事實。
尤其是鄧力,與俞棟在微軟共事近 20 年的他,曾與俞棟一起寫論文、出書、開研討會,并在深度學(xué)習(xí)最難熬的年月里為 Geoffrey Hinton 雪中送炭,共同“挽救”了這項差點夭折的珍貴研究。
![]()
鄧力
據(jù)坊間傳聞,Citadel 為了招攬鄧力,曾開出比微軟高三四倍的工資,以至于時任微軟全球執(zhí)行副總裁的沈向洋,都沒有更好的理由留下鄧力。
而鄧力走上的發(fā)展新道路,在多年后的今天也迎來了俞棟的身影。但在相似選擇的背后,更深層次的共性,已經(jīng)在往昔的歲月中初見端倪。
01
鄧力與俞棟的“挽救計劃”
2008 年 12 月,鄧力和同事何曉冬在 NIPS(神經(jīng)信息處理系統(tǒng)大會)舉辦期間組織了一場語音語言研討會。受邀前來的 Hinton,為會場眾人帶來了一則好消息:自己已經(jīng)開始用深度學(xué)習(xí)技術(shù)處理語音問題,并且取得了不錯的結(jié)果。
這讓鄧力大感意外并充滿質(zhì)疑——神經(jīng)網(wǎng)絡(luò)在過去幾十年間的發(fā)展頹勢有目共睹,自己在 15 年前就是聽了 Hinton 的善意提醒才擱置了對神經(jīng)網(wǎng)絡(luò)的研究。怎么到了今天,建立在神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上的深度學(xué)習(xí)突然支棱了起來?
鄧力于是與 Hinton 約定會后詳談,并力邀 Hinton 前往微軟總部,就相關(guān)技術(shù)進行比拼。
![]()
Geoffrey Hinton
欣然應(yīng)允的 Hinton,在 2009 年 11 月如約來到微軟總部。
沒有想象中的劍拔弩張——Hinton 和鄧力用 MATLAB 搭建了一個語音識別神經(jīng)網(wǎng)絡(luò)的原型。其中,由 Hinton 負責(zé)編寫的深度玻爾茲曼預(yù)訓(xùn)練模型代碼十分簡潔流暢,讓身為行業(yè)老炮的鄧力都驚嘆不已。
尤其當(dāng)模型開始用微軟的語音數(shù)據(jù)訓(xùn)練時,鄧力敏銳地嗅到了背后的真正價值:只要數(shù)據(jù)量足夠大,哪怕算法簡單,深度學(xué)習(xí)也能幫助其實現(xiàn)從量變到質(zhì)變的升級,擁有不輸于深度波爾茲曼預(yù)訓(xùn)練模型的實力。
基于此,鄧力、Hinton,以及彼時同樣認同深度學(xué)習(xí)價值的俞棟,在次月的 NIPS 上聯(lián)合組織了一場研討會,意在分享討論深度學(xué)習(xí)在語音識別領(lǐng)域的應(yīng)用價值,并借此提高的深度學(xué)習(xí)在圈內(nèi)的影響力。
不過,微軟內(nèi)部的阻力隨之而來。
矛盾最初出現(xiàn)在 Hinton 與 Alex Acero(鄧力彼時在微軟的直屬上司)之間。
在 Alex Acero 看來,想要推進深度學(xué)習(xí)的相關(guān)研究,現(xiàn)階段買些能滿足基本運算需求的便宜貨就可以了。但 Hinton 覺得此舉甚為不妥,想要實現(xiàn)更好的研究效果就得舍得花錢,要買更貴、性能更好的 Nvidia GPU,更何況便宜貨背后的隱形成本,真算下來未必更省錢。
幾番思量后,鄧力決定聽從 Hinton 的意見,用自己掌握的研究經(jīng)費購買了三塊 Hinton 親自推薦的 GPU,與俞棟一起著手大規(guī)模語音識別實驗。
不過,此舉在微軟內(nèi)部引發(fā)了諸多非議。尤其在 2010 年,隨著 Peter Lee 出任微軟雷德蒙研究院院長,新官上任三把火的他,首先將目光瞄向各項目的研究開支,然后就不出意外地看到了鄧力團隊的“大手筆”。
雖然與 Hinton 是舊相識,但彼時代表行業(yè)主流的 Peter Lee 只覺得 Hinton 的神經(jīng)網(wǎng)絡(luò)乃至深度學(xué)習(xí)“非常荒謬”。Hinton“攛掇”鄧力購買 Nvidia GPU 的行為,更是慷他人之慨,給微軟造成了不必要的浪費。
Peter Lee 的態(tài)度,其實就是微軟高層的態(tài)度。意識到道不同不相為謀的 Hinton,此后與微軟的關(guān)系愈發(fā)疏遠。Hinton 原本打算送入或已經(jīng)在微軟實習(xí)的學(xué)生,也相繼取消合作計劃并從微軟撤出。
![]()
Peter Lee
內(nèi)部的不理解與外部的心灰意冷,不可避免地沖擊著鄧力和俞棟在深度學(xué)習(xí)領(lǐng)域的研究。但也正是在這種內(nèi)外交困的艱難處境下,鄧力和俞棟的堅持才顯得可貴。而二人在 Peter Lee 到任前的“大手筆”,無疑抓住了轉(zhuǎn)瞬即逝的時間窗口。既是運氣,也是豪賭,更是追逐前沿技術(shù)的慣性使然。
站在事后的角度,我們知道鄧力和俞棟的研究成功了,深度學(xué)習(xí)技術(shù)在工業(yè)界的大型語音識別任務(wù)上得到驗證與革命性突破:哪怕不使用深度波爾茲曼預(yù)訓(xùn)練模型,二人提出的 senone 建模方法,結(jié)合 Hinton 的多層建模后共同設(shè)計的語音原型,其性能之優(yōu)越,已然超越了當(dāng)時的其他方法,其中就包括鄧力發(fā)明的基于生成式五層動態(tài)貝葉斯網(wǎng)絡(luò)的方法。
可以說,正是鄧力和俞棟的堅持、實力與運氣,才挽救了這項原本脆弱的研究。對于 Hinton 乃至日后所有從事人工智能的同仁來說,都是一件幸事。
02
殊途同歸的金融之路
隨著這則傳奇往事的落幕,鄧力與俞棟又在微軟待了數(shù)年,并在 2017 年雙雙離開微軟,踏上了不同的發(fā)展道路:俞棟加入騰訊,擔(dān)任西雅圖 AI 實驗室總負責(zé)人;鄧力則加入對沖基金 Citadel,擔(dān)任首席人工智能官。
表面上看,語音與金融的界限涇渭分明,但具體到語音數(shù)據(jù)與市場數(shù)據(jù),二者本質(zhì)上都是序列性的,在運行方式上也有共通之處——從混亂的信號里識別規(guī)律,再基于規(guī)律做預(yù)測。
不同之處在于,金融數(shù)據(jù)更復(fù)雜、噪聲也更大。此外,異構(gòu)數(shù)據(jù)與金融市場的非穩(wěn)定性等問題的存在,也對“跨界”而來的 AI 從業(yè)者提出了更多挑戰(zhàn)。
但對于鄧力來說,挑戰(zhàn)雖多,但“這都是非常復(fù)雜有趣的”,“要解決數(shù)據(jù)問題,經(jīng)濟和金融知識和模型會有用武之地。”
這種對自我與行業(yè)發(fā)展上限的突破,無疑擊中了一些轉(zhuǎn)去金融公司的技術(shù)大佬的“爽點”。
更何況,金融公司開出的價碼,往往令人無法拒絕。Empaxis 不久前發(fā)布的一則報告顯示,過去一年,對沖基金給擁有 10 年以上工作經(jīng)驗的資深量化工程師開的薪資,比同級別的大廠要高出 30% 到 50%。
而金融行業(yè)對 AI 人才的重視與招攬,也早已不是秘密,倍漾量化創(chuàng)始人馮霽就給出了自己的判斷:“那些不采用人工智能技術(shù)的量化機構(gòu),在未來 3 到 5 年可能會被淘汰。”
![]()
馮霽
不過,除了更高的“爽點”和更有吸引力的薪資,還有一個更現(xiàn)實的因素——身處一山更比一山高的大廠,技術(shù)大佬們又有多少機會能拿到理想中的研究資源?
比如前大廠高管哲休(化名),在卸任原崗位后其實面臨兩個選擇:其一,留在原公司,但轉(zhuǎn)去其他部門,在新領(lǐng)導(dǎo)的帶領(lǐng)下開展大模型相關(guān)業(yè)務(wù);其二,接下一家金融公司拋來的橄欖枝,自己作為領(lǐng)導(dǎo)人負責(zé)整個公司的大模型業(yè)務(wù)。
哲休最終選擇了后者,因為從“旗子”躋身“旗手”的他,“自主權(quán)會更強一點。”
哲休的邏輯,無疑與鄧力、俞棟當(dāng)年在微軟研究深度學(xué)習(xí)時的艱難處境形成某種呼應(yīng)——如果不是鄧、俞二人抓住了 Peter Lee 到任前轉(zhuǎn)瞬即逝的時間窗口,深度學(xué)習(xí)的相關(guān)研究顯然不會取得今日之成績。曾經(jīng)出現(xiàn)在神經(jīng)網(wǎng)絡(luò)上的“失落的二十年”,也未必不會在深度學(xué)習(xí)上重演。
回到現(xiàn)在,當(dāng)年的故事早已成為傳奇,但今天的傳奇還在繼續(xù)書寫。尤其是鄧力和俞棟這兩位曾經(jīng)并肩作戰(zhàn)的戰(zhàn)友,相隔九年,共同朝著金融的方向走去,殊途同歸。
希望在不久的將來,我們能看到 AI 技術(shù)在金融市場大放光彩,就像鄧力初入金融領(lǐng)域時留下的豪言壯語:“我覺得現(xiàn)在金融領(lǐng)域已經(jīng)非常成熟了,可以讓人工智能來大顯神威。”
未經(jīng)「AI科技評論」授權(quán),嚴禁以任何方式在網(wǎng)頁、論壇、社區(qū)進行轉(zhuǎn)載!
公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán),轉(zhuǎn)載時需標注來源并插入本公眾號名片。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.