北京
關注“在線學習”
獲取更多資訊！
相信大家都有一個最熟悉的陌生人——人工智能，也就是AI！用AI答疑、解題、嘮嗑……似乎問什么它都能回答。那么，AI到底是怎么聽懂人話的？
其實，它根本不認字，只認識“詞元”，也就是AI處理信息的“最小積木”，積木拼起來才是完整的內容。
咱們看一句話、一段文字時，體會的是完整的意思，比如“餃子怎么包”；但在AI眼里，它不會直接理解這句話，而是會把它“拆碎”，切成一塊一塊的小單元，“餃子”“怎么”“包”，這每一塊，就是一個詞元。AI就是靠處理一長串詞元，來理解和生成語言。
詞元可能是一個完整的詞，比如“AI”“餃子”；也可能是半個詞，比如“詞元”就可能被拆成“詞”和“元”；甚至能是一個字、一個標點，比如“哦” “！”。只要是AI能識別的最小單元，都是詞元。
肯定有人問，為啥叫“詞元”？這可不是隨便起的，是專家們經過流程審定的！全國計算機科學技術名詞審定委員會將token定名為“詞元”?！霸~”代表它最早來自語言，跟我們說的話緊密相關，“元”就是最小單元，和“元素”“單元”里的“元”一個意思，好記又科學。
詞元可不只局限于文字哦?，F在咱們用的多模態AI，能看圖片、聽語音。其實，圖片被切成的小圖塊、語音被剪的小片段，本質上都是詞元！
你發的每一句話、每一個指令，都會被AI拆成一個個小小的詞元，再重新組合成回答給你。這就是AI讀懂世界的底層邏輯，是不是瞬間就懂了？
本文來源｜光明微教育
聲明：轉載此文是出于傳遞更多信息之目的。若有來源標注錯誤或侵犯了您的合法權益，請作者持權屬證明與我們聯系，我們將及時更正、刪除，謝謝。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
