编译/VR陀螺

近十年来，Meta一直在研发一项名为Codec Avatars的技术，该技术通过VR头显的面部和眼球追踪技术，实时驱动逼真的人体数字形象。Codec Avatars的目标是传递社交临场感，即潜意识中感觉你真的和另一个人在一起，即使他们不在场。目前没有任何一种物流技术能够做到这一点，甚至视频通话也难以企及。

为了最终推出Codec Avatars，Meta一直致力于提高系统的真实感和适应性，降低实时渲染要求，并使得通过智能手机扫描即可生成它们成为可能。

生成Codec Avatar最初需要一个包含100多个摄像头和数百盏灯的大型自定义捕捉阵列，但去年Meta已将其改为仅用于训练“通用模型”。之后，可以使用旋转头部的自拍视频生成新的Codec Avatar。然而，对于全质量的Codec Avatar，这种捕捉需要大约一小时才能由高端服务器GPU处理。

虽然Meta早在2022年就展示了通过智能手机扫描生成的低质量Codec Avatar，但去年的工作通过采用高斯溅射方法将这一优势带到了更高质量的Codec Avatar。

近年来，高斯分布技术对真实体积渲染的作用相当于大型语言模型(LLM)对聊天机器人的作用，推动该技术从昂贵的利基市场走向Varjo Teleport和Niantic的Scaniverse等上市产品。这些较新的高斯编解码器头像本质上也具有可重新照明的特性，使其非常适合在VR和混合现实中实际使用。Apple还在visionOS 26中为其新Personas使用了高斯分布技术，虽然其质量与Meta的研究不太一样，但实际上已在出货产品中可用。

Meta的最新研究成果发表在一篇名为《HairCUP：3D高斯头像的头发成分通用先验》的论文中，该论文在去年的高斯编解码器头像工作的基础上，增加了头部和头发之间的成分分割。在运输系统中，这将允许用户从选项库或他们自己的先前扫描中更换他们的发型，而无需进行新的面部扫描。从本质上讲，新方法还改善了头发和脸部之间的接缝，例如刘海，并且将来可以更好地支撑帽子。

Meta距离将Codec Avatars正式纳入其Horizon OS头显的目标越来越近了。然而，目前仍面临诸多挑战。

首先，Quest 3和Quest 3S都没有眼动追踪和面部追踪功能，而且没有迹象表明Meta计划近期推出另一款具备这些功能的头显。Quest Pro具备这两种功能，但已于今年年初停产。另一个问题在于渲染要求。虽然Meta两年前就展示了由Quest渲染的低质量Codec Avatar，但迄今为止，高质量版本都是由PC显卡渲染的。Apple Vision Pro证明了在设备上渲染高斯化身是可行的，但Quest 3的功能略逊一筹，而且Meta缺乏Apple对硬件和软件堆栈的全面端到端控制。

一种可能性是，Meta将首先推出Codec Avatars的初级平板版本，让用户以比Meta Avatar更逼真的形式加入WhatsApp和Messenger视频通话。Meta Connect 2025将于9月17日举行 ，届时该公司可能会分享更多有关其在Codec Avatars方面的进展。

来源：UploadVR