人类对唇语的学习和研究由来已久,然而由于受经验、视线以及主观因素的影响,人类解读唇语的正确率存在不稳定性。因此让AI学会“读唇术”,在很多应用场景都有着现实意义。
读唇是一种特别难的技能,人们在读唇的时候会尽可能多地根据话语间的联系来判断,读唇人本身的语言知识也至关重要。AI“读唇术”简单来讲就是一项唇语识别技术,计算机通过进行视觉识别和自然语言处理,来分析说话人的唇部运动,从而识别出说话内容。
牛津大学计算机系开发出了一个名为LipNet 的人工智能系统。据报道,这个人工智能的系统是建立在一个被称为“GRID” 的数据集上。该研究团队使用这个数据集来训练人工智能的神经网络,经常用它进行语言识别。随着时间的推移,AI 的神经网络识别的嘴型也越来越多,慢慢地它就会理解他所识别到的信息。AI 不会仅仅识别断断续续的画面,相反,它会根据整个演讲的大意来整合它所识别到的信息。它会自动分析句子根据上下文来理解整个演讲的大意。
近几年,海云数据、搜狗等国内多家企业也相继发布唇语识别技术。唇语识别技术在公共安防、军事情报和公益等多个领域都能发挥巨大的作用。
一套成熟的唇语识别系统需要大量的人脸特征样本数据,这些数据要尽可能包含更多场景、更多类型的说话人,以此保证训练出来的唇语识别模型具有更好的泛化能力。
2022-04-28 08:15:15