微軟研究院近日展示了 Project Rumi 項目，結合文本，音頻和視頻數據，通過多模方法，提高人工智能系統的理解能力，從而更能理解人類的意圖。
人工智能系統近年來取得了長足的進步，尤其在自然語言處理（NLP）領域的成長更為驚人。不過現有 NLP AI 主要依賴于文本輸入輸出，忽略了人類在自然交流中的語調，面部表情，手勢和肢體語言等線索，從而在理解方面會存在偏差。
在 AI 專業術語中，這些線索統稱為副語言（paralinguistics/ paralanguage）。
微軟研究院為了解決這個問題，開發了 Project Rumi，這是一個新穎的框架，旨在通過多模態副語言提示來增強人工智能的理解。該項目包括兩個主要部分：多模式副語言編碼器和多模式副語言解碼器。
