读创/深圳商报记者 陈姝
腾讯会议背后又一黑科技浮出水面。7月7日,为了应对复杂声学场景下的实时语音通信技术挑战,解决企业会议室开会难题,腾讯会议旗下天籁实验室推出天籁语音模组方案,由腾讯AI Lab多项技术加持,实现12米超长距离拾音,消除超过200种会议噪声,在双讲,回声消除等方面实现突破性升级。
当下,在线会议成为企业高效办公的标配。据腾讯相关专家介绍 ,视频会议功能将成为大部分会议室的标配。未来“线上 线下”的混合会议将超过90%。随之而来的是会议室场景下面临的声学挑战,一方面,在远场情景下,麦克风采集到的有效信号逐渐减弱,信噪比降低。另一方面则经常因为会议室场地空旷,各类噪声也会严重影响到开会质量。
腾讯会议基于会议室的特定场景,推出天籁语音模组方案(以下简称“方案”),首次结合房间声场感知、采集和空间声场重建技术,解决了会议室复杂场景下,远场多人音频通信、多讲话人实时追踪、多人自动取景等实时音视频技术难题。
例如,同一会议室中,随着人与音视频设备的距离变远,声音在传播过程中也会逐渐减弱,最常见的一个现象就是听不清甚至听不到。针对这一点,天籁语音模组方案将多个MEMS麦克风板嵌入到会议大屏中,结合音频处理器,能够实现180度广角、12米超长距离拾音,相当于参会者即使相隔4层楼的距离,也能做到像面对面交流般清晰。
针对多人同时说话时声音明显失真现象,方案能有效确保多人讨论时,每个人的声音都听得见、听得清、听得真。方案还基于深度学习模型,可以将空调声、风扇声等平稳噪声的降噪深度提高至40dB,还能会议室场景下超200种各种突发噪声进行针对性消除。在采访现场,团队进行了降噪方面的演示,无论是键盘噪音、桌椅碰撞,空调噪声、翻纸张的声音、塑料瓶的声音,还是雨打在窗户上的声音、工地噪音等都可以通过天籁算法消除掉。
在远程会议中,很多人经常会遇到延迟而导致的声音卡顿、声音忽快忽慢,甚至与会者同时安静或同时说话等尴尬的情况。方案突破性地将设备上行时延降低至几十毫秒,可以让远程语音交流如面对面交谈般实时。
腾讯会议2019年底推出,去年9月发布企业版、会议室连接器以及新一代云视频会议室解决方案“腾讯会议Rooms”。除了与硬件厂商的合作,腾讯会议还通过开放标准API接口以及二次开发,助力企业IT、系统集成商等合作伙伴轻松适配多种会议场景。数据显示,近万家企业通过接入腾讯会议API。
腾讯天籁实验室总经理商世东称,腾讯会议不做硬件,但会跟业界硬件合作伙伴一起打造生态。目前已经和一些合作伙伴开始讨论,量产机型都已在推进中。“目前all in one的大屏厂商是我们最好的合作伙伴,大屏包括音频、视频、交互、白板这些功能全在这里”。
腾讯会议天籁实验室技术研发专家余涛表示,天籁实验室通过语音信号本身去做降噪,长期积累了很多经验。“我们已经从近场开始,从中场、远场进行突破,这是从单麦的纯语音路线上在持续深入的一个研究,也有不断落地的场景进行产品化的一些输出”,他指,另外一个方面,从硬件、电路、声学和算法等也在联合攻关。在技术路线上已经走得比较全面,未来不断会有黑科技呈现。
审读:喻方华