您所在的位置:首页  新闻动态
助力华为,开发闽南语识别APP,厦大智能语音课题组的“声音艺术”真不简单!

发布时间:2019-03-02 浏览次数:751

助力华为,开发闽南语识别APP,厦大智能语音课题组的“声音艺术”真不简单!

 小夏 厦门大学 

小夏认识了一位新朋友

声音优美

彬彬有礼

善解人意

快来看看TA是谁!


这其中的神奇之处在于,它不仅能听懂你的意思,还能辨别出你是否是它的“主人”。这正是语音识别技术和声纹识别技术的巧妙应用。

小夏课堂

语音识别:共性识别,判定所说的内容(说的什么)。

声纹识别:个性识别,判定说话人身份(是谁说的)。

古往今来,声音仿佛捉摸不透,连“大弦嘈嘈如急雨,小弦切切如私语”这样的精妙比喻都难以描摹出声音的形状,而随着人类智慧的投入,声音也从变幻无形的虚像变为可监测可识别,甚至可编辑的东西。自然万物发出的声音,都幻化为时间轴上的一条波形,如同“世界上没有两片完全相同的树叶”。声音也在人类的不断探索中,展现着个性之美。

声音可以用时域波形图来显示时间和幅度的关系


厦大语音智能团队给我们创造的惊喜,可远远不止这些~

厦门大学智能语音课题组网站首页





厦门大学智能语音课题组(http://speech.xmu.edu.cn)汇集了厦门大学信息学院智能科学与技术系、电子科学与技术学院电子工程系、海洋与地球学院相关学科优势力量,在人工智能、语音识别、声纹识别、语音合成、语种识别、阵列信号处理等领域进行创新科研。

能语音课题组以洪青阳副教授、李琳副教授、童峰教授等骨干成员为核心组建,除了众多老师外,还包括20余名在校硕士研究生。

课题组部分成员合影


谈及课题组的成立起源,童峰教授表示厦门大学的学科交叉培养提供了很好的环境和机会,几位老师自在厦门大学读书时就相识,在不同学院学科的培养下,在各自领域里闯出了属于自己的天地,如今,将各自的优势集合起来,合作建立了智能语音课题组,从语音保质保真,到语音的信号处理、模型建立,层层把关,可谓珠联璧合。

课题组成立以来,先后承担国家自然科学基金面上项目、福建省科技计划高校产学合作重大项目、厦门市科技计划项目以及企事业单位委托项目等多个课题,在相关领域SCI期刊及ICASSP、INTERSPEECH等顶级国际会议发表论文三十余篇,获十余项发明专利授权;获得福建省科学技术二等奖、厦门市科技进步三等奖等多项奖励;洪青阳副教授入选公安部安防行业标准委员,课题组参与制订安防行业标准;同时,课题组与华为、美亚柏科、天聪智能等多家行业领军企业保持良好的合作关系,推进产学研深度融合。

就在不久前,厦门大学xmuspeech团队喜获“东方语种识别竞赛(OLR Challenge 2018)”语种识别Task1(短语音语种识别)第一名,同时还获得Task2(混淆语言语种识别)第二名和Task3(开集语种识别)第二名的优异成绩,而这个参赛团队正出自于厦门大学智能语音课题组。

注:OLR Challenge是清华大学和海天瑞声联合举办的语种识别竞赛,面向全世界致力于东方语言研究的开发者。

硕果累累的光彩背后,其实是困难重重的科研目标追逐;但除却工作时的严肃认真,仍是氛围融洽,团结活泼。在这里,团队成员既能学习到专业知识,实践出真本领,也能认识一群志同道合的伙伴,体味科研生活的乐趣。2017级研究生黄惠祥就表示:“最有趣的地方在于能够学到很多的理论知识,也包括了很多软硬件的调试方式,给自己累积了很多知识。”2016级硕士生黎荣晋也毫不吝啬地表达了对课题组的喜爱——“每天都能学到很多,课题组上下都很融洽,大家都会互相分享自己的积累,在交流中进步,这样的团队氛围是最让人兴奋了吧~”



课题组的工作日常



2018年3月,厦大智能语音课题组研发的声纹识别技术成功在华为P20手机上应用落地,如今Mate20手机也继续采用厦大声纹技术,实现手机机主的个性化语音唤醒。

“跟华为合作,其实是对厦大智能语音课题组的一种考验,因为面对的是实实在在的产品,瞄准的是国际最高的性能指标,效果好不好马上就知道,容不得半点虚假。华为对产品质量有极高的要求,这对课题组也是很大的压力,要求我们既要有算法研究能力,又要有工程落地能力,才能跟上指标要求和交付节奏”。谈及与华为的合作,课题组都将其视为一个挑战,也是一个机遇。“这个领域都是国际顶尖的巨头们在做,但其实只要我们有自己的特色和努力成分在,我们有机会脱颖而出。”

理论运用于实际,“说起来容易,做起来难。”许多时候团队成员们做出的尝试更像是“一厢情愿”,一应用到产品测试中,就不被“领情”了。2016级硕士生章宇栋就说道:“由于是与实际产品接轨的研究,即使使用实际采集数据来仿真运算,也和实际测试中有着巨大的差异,这也需要我们不断去克服和挑战。”

语音唤醒难在哪?

为了避免非机主本人使用,需要加上声纹识别功能。但唤醒词一般只有3-4个字,要对1秒左右短语音实现精准识别,尤其是在噪声和远场环境下,具有相当的难度。为解决这一难题,厦门大学智能语音课题组专门成立了技术攻关小组,对比了各种不同声纹技术,包括传统的和最新的算法。厦大声纹技术包括经典的高斯模型算法、端到端的深度模型,同时又有独创的工程方案,针对落地应用,最终选择识别准、运行快的算法方案,并经过一年多的改进和严苛的产品部门测试,最终才运用到产品中,投入市场。

这其中的困难,也远不止在技术与产品的碰撞中,“合作单位深夜打来电话,要和你沟通技术上的问题,是时有的事。”童峰教授如是说。企业对效率和效益的要求,与课题组自身的科研任务,论文指标难免有冲突,课题组在兼顾两者的过程中,无疑需要花费多于常人的时间和精力。

但团队成员们并无怨言,2017级硕士生赵淼就表示:课题组为我们提供了良好的科研探索平台,不仅有丰富的软硬件资源,还有自由积极的研究氛围,可进行自主探索、学习和实践,从简到繁、层层递进的进步,每一次所解决的问题,无论大小难易,由于其直接与特定任务挂钩,从而会有一种落到实处的感觉,显得十分有意义。因此,能察觉到的自我进步和能看得见的解决贡献便是最大的乐趣。

洪青阳副教授


小夏十分好奇合作企业方面对厦大提供的技术支持是否有直接的评价,洪青阳副教授坦言:“产品落地就是对我们最大的肯定!”令人感慨,精诚之所至,无需以赞叹自诩,只管踏踏实实,兢兢业业,个中优劣,世人一看便知。

那个曾看起来遥不可及的最高指标,厦大智能语音课题组做到了。

正如2018级硕士李铮对课题组的评价:在厦大智能语音课题组中,我们拥有自由探索行业前沿的技术的平台和空间,有老师引导我们探索的方向,有热情的学长学姐给我们答疑解惑,有足够的硬件设备支撑我们的研究。团队虽小,但足够温馨和强大,接下来,也不会停止前进,厦大智能语音课题组将继续在智能语音、人机交互等领域,发出越加闪耀的光和热。

自2016年与华为合作以来,厦大智能语音课题组的整体实力已有很大提升,研究团队进一步扩大,包括研究生和工程师,将来也会进一步扩大研发团队,扩大在国内外的影响力,力争把智能语音技术做成厦门大学的“王牌”。

童峰教授接受采访

最近小夏还发现

厦大语音智能团队又双叒干了一件大事

那就是

成功研发出闽南语智能语音系统软件

      闽南话智能语音系统由厦门大学信息科学与技术学院的洪青阳科研团队和人文学院许彬彬科研团队联合研发,目前已开放供广大市民免费试用~准确率已达近80%(终于能和闽南人更愉快地聊天了!)


许彬彬老师团队


感兴趣的同学们可以扫描二维码下载使用

(Android版本)


(ios版本

我们的努力就像一个化学反应

有了时间和伙伴的力量

一定会闪出耀眼的火花

这是这群厦大人

想要传达给大家的力量!


厦门大学

文:张弘

采访:张弘 沈雅威 余丹妮

图:余丹妮

部分图片由厦大智能语音课题组提供

视频:余丹妮

感谢接受采访的童峰教授、

课题组的其他老师和同学们~