網易首頁 > 網易號 > 正文 申請入駐

谷歌語音合成新突破:讓AI說話像真人一樣自然流暢

0
分享至


這項由伊朗謝里夫理工大學的馬赫塔·費特拉特(Mahta Fetrat)、多尼亞·納瓦比(Donya Navabi)、扎赫拉·德赫加尼安(Zahra Dehghanian)、莫爾特扎·阿博爾加塞米(Morteza Abolghasemi)和哈米德·拉比(Hamid R. Rabiee)領導的研究團隊,在2025年12月發表了一篇題為《Beyond Unified Models: A Service-Oriented Approach to Low Latency, Context Aware Phonemization for Real Time TTS》的論文,編號為arXiv:2512.08006v1。有興趣深入了解的讀者可以通過該編號查詢完整論文。

當你使用手機的語音助手時,有沒有發現它有時候說話聽起來像機器人,特別是遇到一些復雜詞匯時會讀錯音?這個問題在語音合成技術中一直困擾著研究人員。語音合成就像是給機器裝上一張嘴巴,讓它能夠把文字轉換成聲音說出來。這項技術對于視障人士使用的屏幕閱讀器特別重要,因為他們需要長時間聽機器朗讀文字,如果聲音不自然或者讀音錯誤,會嚴重影響使用體驗。

研究團隊發現了語音合成技術中的一個核心矛盾:如果要讓機器說話聽起來自然,就需要使用復雜的人工智能模型,但這些模型運算速度慢,無法實現實時對話;如果選擇運算速度快的簡單模型,說話就會聽起來很機械,特別是在處理語音轉換的第一步——將文字轉換為發音符號時,經常出錯。

這就好比廚師做菜時面臨的選擇:要么用復雜的烹飪技法做出美味但耗時的大餐,要么快速制作簡單但口味一般的快餐。研究團隊想要找到一種方法,既能保證菜品美味(語音自然),又能快速上菜(實時響應)。

他們以波斯語為研究對象,發現了兩個特別棘手的問題。第一個問題叫做"同形異音詞",就像英文中的"read"這個詞,在"I read a book"(我讀一本書)中讀作/ri:d/,但在"I read yesterday"(我昨天讀了)中卻要讀作/r?d/。機器如果不理解上下文,就無法判斷該用哪種讀音。第二個問題是波斯語特有的"伊扎菲音",這是一個連接相關詞匯的/e/音,就像中文里的"的"字一樣重要。如果這個音添加錯了地方,整個句子的意思就會完全不同。

為了解決這些問題,研究團隊提出了一個創新的解決方案,他們稱之為"服務導向架構"。這種方法就像是開了一家餐廳,把復雜的烹飪工序分配給不同的廚師站:有專門負責處理食材的預處理站,有專門負責調味的調味站,還有專門負責最終烹飪的主廚臺。每個站點都可以獨立工作,互不干擾,但又能很好地配合。

在語音合成系統中,研究團隊把原本集成在一起的各個功能模塊拆分開來,讓處理復雜語言問題的"智能模塊"獨立運行,而負責最終語音合成的"核心引擎"則保持輕量化。這樣一來,當用戶輸入文字時,系統首先用快速的基礎模塊生成初步的發音,然后把這個結果傳遞給獨立運行的智能模塊進行精細化處理,最后再回傳給核心引擎生成最終的語音。

這種設計的巧妙之處在于,復雜的智能模塊雖然運算量大,但它們在后臺獨立運行,不會拖累整個系統的響應速度。就像餐廳里的主廚可以專心炒菜,而不用等待洗菜工完成所有準備工作一樣。

研究團隊還開發了兩種輕量化的語言處理技術。第一種技術基于統計學原理,通過分析大量文本數據,建立詞匯共現關系數據庫。當系統遇到同形異音詞時,會查看這個詞周圍出現的其他詞匯,然后選擇最可能的發音。這就像是根據菜品搭配來判斷某個食材應該怎么處理一樣。

第二種技術則采用了"知識精煉"的方法。研究團隊首先訓練了一個大型的人工智能模型,讓它學會準確識別波斯語中的伊扎菲音。然后,他們把這個大模型的"知識"轉移到一個小得多的模型中,就像是把資深師傅的技藝傳授給年輕學徒一樣。最終的小模型雖然體積只有原來的十分之一,但準確率仍然保持在94%以上。

為了驗證他們的方法是否真的有效,研究團隊進行了大量的測試。他們選擇了PiperTTS作為基礎平臺——這是一個已經廣泛應用的開源語音合成系統,特別適合在普通電腦上運行。研究團隊用他們的新方法對PiperTTS進行了改進,然后與其他幾種先進的語音合成系統進行對比。

測試結果令人印象深刻。在發音準確性方面,改進后的系統在處理同形異音詞時準確率從43.87%提升到了77.67%,在伊扎菲音檢測方面的表現更是從19.58%躍升到90.08%。更重要的是,整體的發音錯誤率從6.32%降低到了4.80%。這些改進在實際使用中意味著什么呢?就是機器讀出來的文字聽起來更像真人在說話,而不是機械地按字讀音。

在運行速度方面,傳統的做法是把所有功能都集成在一起,這樣雖然管理簡單,但會導致整個系統變慢。研究團隊的新方法通過服務分離,成功地將實時因子(RTF)保持在0.167左右。實時因子是衡量語音合成速度的指標,0.167意味著生成1秒鐘的語音只需要0.167秒的計算時間,完全可以滿足實時對話的需要。

更令人興奮的是,研究團隊還邀請了16位母語為波斯語的測試者對語音質量進行主觀評價。評價標準是從1到5分,5分代表完全自然的人聲,1分代表最機械化的合成音。改進后的系統獲得了3.14分的平均評分,而原始系統只有2.41分。雖然距離真人語音的4.21分還有差距,但這已經是一個顯著的進步。

這項研究的意義不僅僅局限于波斯語。研究團隊提出的服務導向架構可以應用到任何語言的語音合成系統中,特別是那些語法復雜、需要根據上下文判斷發音的語言。對于中文這樣的語言來說,這種技術同樣有很大的應用價值,因為中文也存在大量的同音異義詞和語境依賴的發音規則。

從實際應用角度來看,這項技術的最大受益者將是需要長時間使用語音合成設備的群體,特別是視障人士。當屏幕閱讀器能夠更準確、更自然地朗讀文字時,用戶的學習和工作效率都會顯著提升。同時,這種技術也為語音助手、有聲讀物制作、語言學習軟件等領域帶來了新的可能性。

研究團隊還特別強調了他們方案的開放性。所有的代碼、模型和實驗結果都已經公開發布,這意味著其他研究者和開發者可以在此基礎上繼續改進,或者將這些技術應用到自己的項目中。這種開放共享的態度對于推動整個語音合成技術的發展具有重要意義。

當然,這項研究也有一些限制。研究團隊坦誠地指出,即使解決了發音準確性問題,要讓機器語音達到完全自然的程度仍然面臨挑戰。這主要是因為輕量化的模型在處理語調、重音、情感表達等方面還有局限性。此外,目前的解決方案主要針對離線使用場景,對于需要云端服務的應用還需要進一步優化。

展望未來,研究團隊認為服務導向架構還有很大的優化空間。比如,可以在服務層面實現并行處理,進一步提升系統的響應速度和處理能力。同時,隨著人工智能技術的不斷發展,知識精煉技術也會變得更加高效,這將使得輕量化模型的性能進一步提升。

這項研究的另一個重要貢獻是為語音合成技術的發展指出了一個新的方向。與目前主流的端到端一體化模型不同,模塊化的服務架構提供了更大的靈活性和可擴展性。這種架構不僅能夠適應不同的硬件條件和應用場景,還能夠根據需要添加新的功能模塊,而不需要重新訓練整個系統。

對于普通用戶來說,這項研究的成果可能會在不久的將來體現在各種語音技術產品中。無論是手機上的語音助手,還是智能音箱的對話功能,都有可能因為這種技術而變得更加自然和準確。特別是對于使用非英語語言的用戶,這種針對復雜語言特性的優化技術將顯著改善他們的使用體驗。

說到底,這項研究解決了語音合成技術中一個長期存在的難題:如何在保證實時性能的同時提供高質量的語音輸出。通過巧妙的系統架構設計和輕量化的算法優化,研究團隊成功地證明了魚和熊掌是可以兼得的。這不僅為當前的語音合成應用提供了實用的解決方案,也為未來更加智能化的人機語音交互奠定了基礎。

隨著人工智能技術的普及,語音交互正在成為人機交流的重要方式。這項研究的價值在于,它讓機器不僅能夠"說話",而且能夠"說好話",這對于建設一個更加包容和無障礙的數字世界具有重要意義。

Q&A

Q1:什么是服務導向架構,它如何解決語音合成的速度問題?

A:服務導向架構就像開餐廳時把不同工序分給不同廚師站一樣,把語音合成系統中的復雜功能模塊獨立出來單獨運行,而核心引擎保持輕量化。這樣復雜模塊在后臺獨立工作,不會拖累整個系統的響應速度,實現了既快又準的語音合成。

Q2:波斯語中的同形異音詞和伊扎菲音問題具體是什么?

A:同形異音詞就像英文中的"read",同一個詞在不同語境中發音不同,機器不理解上下文就會讀錯。伊扎菲音是波斯語特有的連接音/e/,類似中文的"的"字,加錯位置整句話意思就變了。這兩個問題讓機器很難準確發音。

Q3:這項技術對普通用戶有什么實際好處?

A:最直接的好處是語音助手、屏幕閱讀器等設備說話會更自然準確,特別對視障人士幫助很大。未來手機語音助手、智能音箱、有聲讀物等產品都可能因此技術變得更好用,尤其是非英語語言的用戶體驗會顯著改善。

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
播放量破5億,孫楊和張豆豆這一吵,讓芒果這檔新綜藝徹底封神了

播放量破5億,孫楊和張豆豆這一吵,讓芒果這檔新綜藝徹底封神了

糊咖娛樂
2026-04-24 11:47:38
本想秀恩愛,沒想到成笑柄,自毀體面的郭富城,證實熊黛林沒說謊

本想秀恩愛,沒想到成笑柄,自毀體面的郭富城,證實熊黛林沒說謊

白面書誏
2026-04-22 16:18:08
火箭40秒領先6分神奇失利!謝潑德21中6遭噴上熱搜:不如麥克朗

火箭40秒領先6分神奇失利!謝潑德21中6遭噴上熱搜:不如麥克朗

顏小白的籃球夢
2026-04-25 11:24:51
佟麗婭空降南寧打卡!路人隨手拍生圖絕了,這狀態誰看了不迷糊!

佟麗婭空降南寧打卡!路人隨手拍生圖絕了,這狀態誰看了不迷糊!

陳意小可愛
2026-04-25 16:32:09
【意大利】足壇丑聞!幾十名球星賽后集體嫖娼,還吸“笑氣”,接待姑娘才拿3、400RMB

【意大利】足壇丑聞!幾十名球星賽后集體嫖娼,還吸“笑氣”,接待姑娘才拿3、400RMB

魯曉芙看歐洲
2026-04-25 06:40:38
85年一上將被免去副總長,索性計劃回家養老,沒想到又被重用13年

85年一上將被免去副總長,索性計劃回家養老,沒想到又被重用13年

大運河時空
2026-04-25 14:25:03
港媒:中國正從伊朗的廢墟中汲取關于“持久戰”的冷酷經驗

港媒:中國正從伊朗的廢墟中汲取關于“持久戰”的冷酷經驗

矚望云霄
2026-04-24 23:33:38
別再為華晨宇的眼淚買單!一個舞臺搞得像祭壇,不但要拆還要深挖

別再為華晨宇的眼淚買單!一個舞臺搞得像祭壇,不但要拆還要深挖

小娛樂悠悠
2026-04-25 11:46:19
快訊!美國傳來新消息!

快訊!美國傳來新消息!

達文西看世界
2026-04-25 13:38:56
蔣介石遺體已腐爛不堪?守靈三年的侍衛,終于說出慈湖的秘密!

蔣介石遺體已腐爛不堪?守靈三年的侍衛,終于說出慈湖的秘密!

云霄紀史觀
2026-04-25 19:33:41
三連敗后!廣東隊做出重大決定,四大內線被棄用,王洪澤確認上位

三連敗后!廣東隊做出重大決定,四大內線被棄用,王洪澤確認上位

緋雨兒
2026-04-25 12:48:12
爆冷!北京國安主場淪陷,被灌4球,輸給墊底隊太意外,7場僅1勝

爆冷!北京國安主場淪陷,被灌4球,輸給墊底隊太意外,7場僅1勝

足球狗說
2026-04-25 21:35:58
癌癥開始擴散,最先出問題的就是這3處,早發現才有逆轉的機會!

癌癥開始擴散,最先出問題的就是這3處,早發現才有逆轉的機會!

腫瘤科王紅軍
2026-04-24 14:29:40
花唄、白條、月付等面臨重大調整

花唄、白條、月付等面臨重大調整

第一財經資訊
2026-04-25 12:45:38
把孫楊請來參加《妻子的浪漫旅行2026》的人,可真是一個天才!

把孫楊請來參加《妻子的浪漫旅行2026》的人,可真是一個天才!

八卦南風
2026-04-25 10:26:26
殺害警察連環案七年后告破,兇犯竟然一直在參與偵破

殺害警察連環案七年后告破,兇犯竟然一直在參與偵破

長安一孤客
2026-04-25 13:57:32
王治郅和二婚妻子近照,亮相名人堂,為他生2娃,依舊美麗動人

王治郅和二婚妻子近照,亮相名人堂,為他生2娃,依舊美麗動人

大西體育
2026-04-24 21:59:33
演員脫掉和服才向觀眾鞠躬致謝,本人回應:撕掉這層皮,做回真真正正中國人

演員脫掉和服才向觀眾鞠躬致謝,本人回應:撕掉這層皮,做回真真正正中國人

臺州交通廣播
2026-04-23 22:50:01
知名男演員官宣結婚生女,妻子比他大8歲,為懷孕生女吃了不少苦

知名男演員官宣結婚生女,妻子比他大8歲,為懷孕生女吃了不少苦

娛人細品
2026-04-24 16:55:46
“最長斷糧17天”,烏克蘭前線士兵骨瘦如柴照片遭曝光

“最長斷糧17天”,烏克蘭前線士兵骨瘦如柴照片遭曝光

觀察者網
2026-04-25 08:51:03
2026-04-25 22:00:49
科技行者 incentive-icons
科技行者
科技正在如何變革商業世界
8130文章數 563關注度
往期回顧 全部

科技要聞

DeepSeek V4發布!黃仁勛預言的"災難"降臨

頭條要聞

媒體:美軍在中東罕見高密度集結 伊朗開始調整戰術

頭條要聞

媒體:美軍在中東罕見高密度集結 伊朗開始調整戰術

體育要聞

火箭0-3觸發百分百出局定律:本季加時賽9戰8敗

娛樂要聞

《我們的爸爸2》第一季完美爸爸翻車了

財經要聞

90%訂單消失,中東旺季沒了

汽車要聞

2026款樂道L90亮相北京車展 樂道L80正式官宣

態度原創

教育
家居
房產
本地
公開課

教育要聞

教育縱深 | 閱讀走新更走心

家居要聞

自然肌理 溫潤美學

房產要聞

新一輪教育大爆發來了!海口,開始瘋狂建學校!

本地新聞

云游中國|逛世界風箏都 留學生探秘中國傳統文化

公開課

李玫瑾:為什么性格比能力更重要?

無障礙瀏覽 進入關懷版