清华大学团队研发出新颖唇语解读系统

　　清华大学团队研发出新颖唇语解读系统

　　【科技前沿】

　　本报北京3月25日电(记者邓晖)人语言时嘴唇动作跟语音同步，可以通过识别唇动来举行语言交流。对于声带、喉舌损伤的失声人群，唇语是一种不占用双手的、一样平常无障碍交流的有用方式。但唇语对讲话者友好，对解读唇语的听众来说却并不轻松。为降低唇语解读难度，现有手艺手段常接纳磁场、视觉图像、超声波等方式。以最盛行的非接触式视觉图像方式为例，只管其唇语识别准确率较高，但依然容易受到面部角度、光强、头动和遮挡等因素的滋扰。稀奇是在新冠肺炎疫情时代，佩带口罩给基于视觉的唇动解读带来全新挑战。通过直接捕捉面部肌肉细微动作解读唇语手艺具有主要的科学研究价值与广漠的应用远景。

　　克日，清华大学机械工程系智能与生物机械团队与中科院北京纳米能源与系统研究所团队互助，研发出了一种新颖的唇语解读系统。相关研究功效在线揭晓在《自然·通讯》期刊上。

农业农村部财政部明确今年粮食生产一揽子支持政策

农业农村部、财政部近日明确2022年粮食生产重点工作及一揽子支持政策，要求各地全力以赴保夏粮小麦丰收，千方百计扩种大豆油料，紧盯不放做好农资稳价保供，毫不松懈抓好农业防灾减灾救灾，稳住农业基本盘，为推动经济社会平稳健康发展提供有力支撑。

　　该系统包罗低成本、自供电的柔性摩擦电传感器和基于原型学习的深度学习模子。传感器将唇部肌肉运动发生的电信号传输到解码系统，翻译成可相同的语言。该研究测试剖析了传感器的机械与电气性能，采集并提取了选定元音、单词、短语、无声语音和发声语音的唇动信号特征。通过对照同步采集的唇动和声音信号，证实晰无论是否发声，嘴唇运动信号都具有一致性。进一步剖析了语速与唇动模式等差异参数对信号特征的影响纪律。提出了一种基于原型学习的朴陋循环神经网络模子，用于唇动信号的识别，在20个分类(100样本/类)情形下，测试准确率到达94.5%。

　　值得注重的是，上述自供电传感器由柔性聚合物薄膜与柔性电极组成，可提高人体佩带的恬静性。研究团队行使该系统举行了多种场景应用展示，如解锁大门的身份识别、移动模子车的偏向控制、唇动/语音的实时转换等，展示了该系统在唇动识别领域的可行性和应用潜力。

　　面向失声人群一样平常无障碍相同需求，该事情为特殊场景下唇语翻译应用开拓了创新的研究偏向。此外，该事情在机械人控制、小我私人身份验证、人机界面、残疾辅助、无声语音、情报、反恐义务实行、康复、生物医学工程和虚拟现实等诸多领域中都具有较大的潜在应用价值。

　　团队相关认真人示意，只管该事情已展示了该手艺的有用性和应用远景，但仍然面临系统可靠性、稳固性等问题。研究团队信托，随着研究的深入，该手艺有望切实为失声人群服务，提供无障碍语言交流的科技手段。

【编辑:】 ,