微信
邮箱

contact@speechocean.com

留资
TOP
海天瑞声: DMS、OMS数据助力打造未来出行新体验!
2022.04.25
座舱,即将成为继家庭和办公室之外人们生活中的“第三空间”。

随着技术的迅速发展,车辆已经不仅仅是作为交通工具来满足基本出行需要。

1.jpg


凭借简单的语音交互指令就可以称为智能座舱的时代已然过去,未来的智能座舱将完全以人为本,通过极具创新、丰富的人机交互方式,打造更为轻松、舒适的出行体验。

这样的人机交互绝不是简单的一问一答,而是多通道、多层次、多模态的交流感知

智能座舱多模态交互:更精准、更主动

未来智能座舱的交互虽仍以语音为主要沟通手段,但通过融合触摸、视线、手势、动作、表情等多维度信息,去增强感知的能力,做更精准的判断,比如利用人的嘴唇的视觉信息,可以更好地进行语音识别;
除此之外,利用多模态信息感知,可以将交互模式变为主动式交互

过去的交互方式往往是基于用户发起的,其流程一般是用户唤醒系统,然后向系统描述自己的需求,而多模态感知可以实现更丰富的主动交互场景


场景1,感知到用户疲劳或者负面情绪后,可以发起交互去缓解疲劳或者负面情绪,在情感互动、疲劳驾驶预警、专注力监测等场景下发挥突出作用;
场景2,通过视觉和音频信息,可以确定车内是否有儿童以及儿童是不是在哭闹,进而主动发起针对儿童的哭闹的安抚动作; 感知到用户不开心,可以推荐一些轻松的歌曲或者讲一个笑话;

场景3,乘车人员接听电话时,系统自动降低多媒体音量,保证通话清晰;识别到副驾乘员抽烟时,根据车速适度打开车窗并开启车内空气净化;

……

2.jpg


这些听起来就美好的智能出行体验,意味着对相关算法、算力、数据要求的大幅提升,单从数据层面,就突破了单一的语音维度,涉及到自然语言处理、手势识别、眼球追踪、表情识别、多音区检测等多种模态的数据

海天瑞声面向智能座舱的多模态交互数据

针对高阶智能座舱交互需求,海天瑞声累积了近7,000个小时,覆盖中文普通话、英语、法语、日语、西班牙语、德语等十余种语言的座舱环境语音现有数据集产品,还有多个座舱内DMS、OMS数据,覆盖不同光线环境,不同人群样本,可帮助打造面向未来的多模交互智能座舱产品。

DMS&OMS座舱数据


例如,编号为King-AV-038的DMS&OMS座舱数据集,包含30万段视频,其中包含

1)来自2500位驾驶员的行为数据,可应用于驾驶员感知系统的产品研发,包含驾驶员身份识别、疲劳检测、视线追踪、手势识别、语音交互等

2)来自200位成人、100位儿童的座舱行为数据,可应用于座舱感知系统的产品研发,包含儿童检测、安全带检测、娱乐交互等,打造更高级别的舱内交互体验。


随着消费者对驾乘体验的追求越来越高,智能座舱实现千亿美元级市场潜力是可以预见的,人机交互也将成为智能汽车进一步发展的核心内容!


关于我们

成立于2005年,海天瑞声是一家专注于为AI算法训练提供数据产品及解决方案的服务商。产品及服务类型包含语音识别数据、语音合成数据、文本数据、图像数据等。数据服务涵盖从方案设计到采集、标注直至交付的全流程。

联系我们





电话
留资
会员