闽南语AI翻译,Meta开发无文字语言翻译

世界上大约 7000 种已知的语言中,有 40% 没有标准的书写系统。而机器学习翻译系统通常需要大量可标记的语言实例来进行训练,包括书面和口头语言,这正是像闽南语这种没有文字的语言所不具备的。不过 Meta 公司 宣布,已经通过其最新的开源语言人工智能(AI)解决了这个问题。


Meta 公司公布了“第一个由人工智能驱动的无文字语言的语音翻译系统”,该系统成功地翻译了闽南语,这是一种主要在台湾地区使用的口头语言。Meta的研究团队利用普通话作为中间语言来建立伪标签,首先将英语(或闽南语)语音翻译成普通话文本,然后再翻译成闽南语(或英语),并将其加入训练数据。



Meta还强调了这项技术面临的挑战。研究人员称,收集足够的数据是他们建立闽南语翻译系统时面临的一个重大障碍。“闽南话是一种所谓的低资源语言,这意味着与西班牙语或英语相比,没有大量的训练数据可供利用。此外,英语到闽南语的翻译人员相对较少,这使得收集和注释数据以训练模型变得困难。”Meta的研究团队在新闻稿里写道。所以他们利用普通话作为中间语言来建立伪标签以及人工翻译,这种方法通过利用类似的高资源语言的数据,大大提高了模型的性能。



该系统是 Meta 公司人工智能项目的一部分,被称为“通用语音翻译器(UST)”。Meta 公司在一份声明中说:“该翻译系统是 Meta 人工智能的通用语音翻译器项目的第一个里程碑,该项目专注于开发人工智能系统,提供所有语言的实时语音到语音翻译,甚至无文字语言。”



Meta CEO 马克-扎克伯格在发布在 Facebook 上的视频中演示了该用该系统翻译闽南语,并表示 Meta 公司将对该工具进行开源,以便人们可以使用新的人工智能系统来翻译更多的语言。