近日，第34届计算机视觉国际顶级大会CVPR 2021举办的多角度图片3D人脸重建大赛决赛结果揭晓。网易互娱AI实验室提出的多角度重构方案，在各项测评指标中排名第一，击败来自OPPO研究院、虎牙AI实验室、清华大学、北京大学、中科院自动化所等企业和高校的246支计算机视觉团队，一举夺冠。
近日，计算机视觉顶级会议CVPR 2021举办的PIC Challenge AI结果发布。网易互娱AI Lab从众多参赛队伍中脱颖而出，获得多视角图片3D人脸重建大赛冠军。这是网易互娱AI Lab继IJCAI 2020 3D AI挑战赛获得3D对象重建和3D对象检索双冠王后，再次获得3D视觉领域的国际大赛冠军，体现了网易在3D视觉领域深厚的技术积累和领先的技术实力。
CVPR是计算机视觉领域三大国际学术会议之一，每年都会吸引来自世界各地的顶尖学者、研究人员和开发者，共同探讨计算机视觉领域的前沿问题。三维人脸重建是三维计算机视觉研究的重要领域，广泛应用于人脸识别、AR//VR等领域。本次CVPR 2021多角度3D人脸重建大赛的主要目标是通过从不同角度获得的多幅人脸图像，重建出人脸的106个关键点。
本次比赛以NME、AUC、面部关键点失败率为评价指标。训练数据集包含5204个人脸模型，共15612幅多视角人脸图像，其中不同的人脸模型覆盖了多达25种不同的表情。多表情数据大大提高了3D人脸重建的难度，给参赛选手带来了极大的挑战。
针对本次比赛的难点，网易互娱AI实验室提出了基于twin网络的端到端模型架构。利用多视角图像进行三维重建和增强，设计了自适应权重的NME损失函数，以适应不同表情的三维人脸关键点的回归。同时采用空之间对称增强的3D数据增强方法进行数据放大。此外，设置3D平均关键点人脸模型作为先验信息进行高精度多表情3D人脸关键点拟合，最终大赛三项评价指标领先。
目前，三维视觉大多用于人工智能领域的三维重建、场景理解和构建等任务。近年来，网易互娱AI Lab在3D视觉领域持续发力，不断探索在游戏制作中落地3D视觉技术，并在各类游戏中应用了面部表情捕捉、视频人体动作捕捉、人脸融合、人脸风格化重建等技术，降低了资源制作成本，丰富了产品游戏体验。
网易互娱AI实验室成立于2017年，隶属于网易互动娱乐集团，在广州、杭州、上海设有分公司。是游戏行业领先的人工智能实验室。实验室致力于游戏场景中的计算机视觉、语音和自然语言处理、强化学习技术的研究、应用和落地。旨在通过AI技术帮助互娱的热门游戏和产品升级。目前，该技术已应用于网易互娱的多个热门游戏，如《梦幻西游》《江湖一梦》《世界3》《阴阳师》《第五人格》《哈利波特》等。
