En
登录 / 注册
数据产品
语音识别 语音合成 计算机视觉 多语种发音词典 自然语言处理
数据解决方案
语音识别 语音合成 计算机视觉 多语种发音词典 自然语言处理
会员
会员中心 科研数据
关于我们
公司介绍 核心团队 荣誉资质 最新动态 员工风采 加入我们
En
微信
邮箱

contact@speechocean.com

留资
TOP
首页 / 关于我们
公司介绍 核心团队 荣誉资质 最新动态 员工风采 加入我们 投资者关系
公司介绍
核心团队
荣誉资质
最新动态
员工风采
加入我们
投资者关系
欢迎参加 | ECCV2022首届WCPA 3D人体人脸重建算法大赛
2022.04.29
摘要：海天瑞声、大淘宝技术、中科院自动化所及意大利帕尔马大学等单位，在计算机视觉顶会ECCV2022上举办首届WCPA（1st International Workshop and Challenge on People Analysis: From Face, Body and Fashion to 3D Virtual Avatars）大淘宝技术3D人体人脸重建算法大赛。


Background

大赛背景


数字空间的概念引爆了下一个信息互联时代的无尽想象，数字虚拟与物理现实的完美连接，有机会打造理想虚拟世界。

数字空间的发展路径包括两个方向：一是由实向虚，基于虚拟世界对于现实世界的模仿，构建沉浸式数字体验；二是由虚向实，基于虚拟世界的自我创造，形成独立于现实世界的全新存在，甚至有可能对现实世界产生影响。
在电商领域，移动互联网时代主要通过文字、图片、视频等2D形式建立线上连接平台，为消费者提供线上消费全链路服务；而在数字空间时代，电商的想象力不仅是现实商业的数字化复建，更加关注的是如何由实向虚，通过3D重建及渲染技术，将真实物理世界的人、货、场等电商核心元素在虚拟世界实现数字化重构，建立完全虚拟化的平行电商世界，为消费者带来数字空间独有的消费体验。
海天瑞声作为在人工智能数据领域深耕16年的服务商，业务覆盖智能语音、自然语言理解、计算机视觉等AI全核心领域，对业务场景需求的理解能力一直走在行业前沿，在3D数据服务方面也具备显著优势：

  • 首先，拥有适用于诸多场景的专业的数据采集设备，积累了丰富的3D数据采集项目经验；

  • 其次，通过专业的理论知识培训、一对一指导以及大量过往真实案例练习测试，培养出一批专业能力强、效率高的标注人员；

  • 最后，拥有自主知识产权的3D数据集，可供客户直接用于机器学习。

海天瑞声等多方联合  启动3D人体人脸重建算法大赛

时间追溯到2020年，海天瑞声、阿里巴巴大淘宝技术、中科院自动化所共同启动在3D人体人脸算法重建方向上的研究，三方对促进整个技术生态的共同进步有着共同的积极认知。因此决定在计算机视觉顶会ECCV2022上举办首届WCPA（1st International Workshop and Challenge on People Analysis: From Face, Body and Fashion to 3D Virtual Avatars）3D人体人脸重建算法大赛，旨在共同推动高精3D人体人脸重建的研究，并希望未来与技术生态内的各方尝试推动AI算法在淘宝3D直播间与AR淘等电商应用场景中的有益实践。

1.jpg


尽管3D人体人脸重建算法发展迅速，但现有方法仍然存在局限性，例如：
1. 在人体重建任务上，现有方案大多采用单视角输入，导致缺失的区域（如后背区域）重建效果精度不高。多视角输入方案常常需要执行相机校正过程，操作难度比较高。
2. 在3D人脸重建任务上，已有的方法主要关注3D人脸几何重建的精度，通常使用正交投影来近似人脸的透视投影过程。这种近似在人脸离相机比较近时，不能很好地建模透视投影带来的人脸形变，导致效果不佳。

为了找到解决上述问题的有效路径，海天瑞声为参赛团队准备了多视角、多姿势人体人脸数据集 MVP-Human（注：该数据集在法律规定的范围内获取数据，且数据集中涉及到的被采集者已签署协议，授权大赛使用和分发，所有参赛队伍在使用该数据集时，需要经过严格的资格审查并签署相应的使用协议方可获取并参与比赛），以其为基础，此次WCPA竞赛中包含了3D人体重建和 3D 人脸重建两个赛道，欢迎相关领域的开发者和学者积极参与，共同推进3D XR领域的研究发展。

参赛说明

赛道一：人体赛道

3D人体重建任务中，从图像重建标准空间 (Canonical Space) 的3D人体是一个重要的步骤。标准空间的3D人体采用统一的Pose（如大字型），消除了不同动作对重建的影响，能更准确地衡量人体表面的重建结果。而得到标准空间的人体后，结合蒙皮算法，可以将人体变换到输入图像Pose，或者驱动一段动画，因此标准空间的人体重建是一个有重要意义的任务。
此次比赛中，我们专注于从多视角的RGB图像中重建精确的标准空间的3D人体，避免了完整的3D人体重建冗长的步骤，降低参赛者的参与难度。
人体重建赛道：

https://tianchi.aliyun.com/competition/entrance/531958/introduction

赛道二：人脸赛道

基于单目RGB图像的3D人脸重建通常包含两个任务，3D人脸几何重建以及人脸位姿估计。已有的方法主要关注3D人脸几何重建的精度，而使用简单的正交投影来简化人脸的投影过程。在人脸离相机距离比较远时，使用正交投影可以替代透视投影，但是当人脸离相机比较近时，因透视投影造成的形变效应就不能忽略。已有方法由于使用正交投影近似透视投影，不能很好地解释透视投影带来的人脸形变，导致效果变差。
此次比赛中的数据集来自于采自透视投影相机模型的数据，希望在更贴近真实场景的基础上，通过参赛者的方法创新，不断提高3D人脸重建以及人脸姿态估计的精度。
人脸重建赛道：

https://tianchi.aliyun.com/competition/entrance/531961/introduction

赛  程

2022-04-25: 网站上线

2022-04-27: 开放队伍注册
2022-04-29: 公开训练数据
2022-05-06: 公开测试数据，开放测评服务器
2022-05-31: 注册截止
2022-06-12: 结果和技术报告提交截止
2022-07-03: 比赛结果公布，技术报告录取结果通知
2022-07-17: 技术报告Camera-ready版本提交截止

（上述所有时间时区为 UTC+8）

奖项设置

2.jpg

关于海天瑞声本次大赛开源的数据集
MVP-Human
Data

数据编号：King-IM-072


数据规模：包含1,000人3D人脸和1,000人3D人体姿态数据，性别、年龄比例均衡，包含被采集人多种姿态及表情


数据参数：测量精度在亚毫米级别，人体模型的三角面片数量大于40万，人脸模型的三角面片数量大于12万，每个人脸模型配备一段ARKit视频，提供每一帧对应的3D Mesh, blendshape系数，相机参数，人脸pose信息（yaw, roll, pitch, scale, translation）等


应用场景：满足3D人脸识别、活体检测、3D人体姿态检测追踪等多个商业场景需求。




关于我们

成立于2005年，海天瑞声是一家专注于为AI算法训练提供数据产品及解决方案的服务商。产品及服务类型包含语音识别数据、语音合成数据、文本数据、图像数据等。数据服务涵盖从方案设计到采集、标注直至交付的全流程。

联系我们


  • 网站链接：http://www.speechocean.com/

  • 电话咨询：010-62660053

  • 邮件咨询：contact@speechocean.com



返回列表
电话
留资
会员