SignLLM：通過文字描述生成手語視頻的多語言模型

SignLLM ，世界上第一個通過文字描述生成手語視頻的多語言模型。模型可以將輸入的文本或提示轉化為相應的手語手勢視頻。SignLLM可以生成包括美國手語（ASL）、德國手語（GSL）以及八種不同的手語。它還引入了額外的多語言手語數據集，名為Prompt2Sign，并基于此數據集開發了多種生成手語的模型。

Prompt2Sign 數據集的引入

為了確保手語視頻生成的準確性和流暢性，SignLLM 引入了一個名為 Prompt2Sign 的多語言手語數據集。這個數據集包含了豐富的手語樣本，為模型的訓練和優化提供了堅實的基礎。通過學習和分析這些數據，SignLLM 能夠生成更加自然和細膩的手語視頻。

SignLLM 的應用

SignLLM 可以用在很多地方，以下是幾個主要的應用場景：

教育：對于學習手語的人和老師來說，SignLLM 可以提供高質量的手語教學視頻，幫助學習和教學。

醫療：在醫院，聽力障礙者經常遇到溝通問題。SignLLM 可以幫助提供即時的手語翻譯服務，讓患者的就醫過程更順利。

法律：在法庭或法律咨詢中，準確的手語翻譯非常重要。SignLLM 可以確保聽力障礙者在法律事務中有公平的溝通機會。

日常生活：在公共服務或客戶服務等日常場景中，SignLLM 可以提供即時的手語翻譯，方便手語使用者。

手語生成生成視頻的效果

生活中的另一種技巧是，你可以先把頭發編成辮子，然后開始纏繞，因為有些人的頭發真的很短，我們可以通過添加發尾來創造造型。（Another technique in your life is you can braid the hair on first and then start wrapping cause some people have really short hair and we can create the look with adding the hair end.）

所以我們現在正在加熱油。（ "So we are currently heating up the oil and at this point."）

首先，“按摩院”是一個非常過時的術語，并且常常帶有一些負面含義，作為按摩治療師，我們努力避免這種含義。（ "First of all Massage Parlor is a very dated term and often has some negative connotations that are associated with it and as a massage therapist we worked hard to kind of steer away from that."）

SignLLM 是手語生成領域的一個重要突破，未來SignLLM 有望支持更多種類的手語，隨著時間和技術的發展，翻譯效果也會越來越好。

SignLLM 的出現，不僅推動了手語的普及，還為全球手語使用者帶來了很多便利。

參考內容：

https://signllm.github.io/

https://arxiv.org/abs/2405.10718

▲ 滑動查看往期內容