8月26日,AWE Asia 2024大会在新加坡博览中心展开。Niantic高级副总裁Brian McClendon受邀并发表了《空间计算需要一张新地图》这一主题演讲,展示了Niantic正在构建的第三代地图技术,旨在实现沉浸式混合现实体验。
VR陀螺在现场有幸与Brian McClendon展开对话,以下为采访记录(内容略有调整):
Niantic是一家总部位于旧金山的软件开发公司,曾与任天堂和宝可梦公司联合开发了现象级的AR手游《宝可梦Go》而闻名。除此之外,该企业还开发了《Ingress》、《Pikmin Bloom》和《Peridot》等游戏。2023年,Niantic与Capcom合作推出《怪物猎人Now》,如今在全球也收获了超过1000万次下载。除游戏外,Niantic在AR行业还多有布局,如曾收购了6d.ai、8th Wall等AR公司,现如今,Niantic已经推出了名为Lightship的AR开发平台。
Brian McClendon曾在Silicon Graphics工作八年,主要负责开发包括GT、GTX、 RealityEngine和InfiniteReality在内的高端3D图形。2004担任谷歌工程总监,后任谷歌副总裁,专注于地理空间数据可视化应用,曾开发过学校地图、谷歌地球、街景、本地搜索、Uber地图等等。2021年加入Niantic,担任工程、测绘与增强现实技术高级副总裁。
Brian McClendon
VR陀螺:空间计算需要新地图,这个“新”主要指什么?
Brian McClendon:我们看到谷歌地图与谷歌地球已经提供了一个完整的地图图形,且也很精准。只是对于增强现实世界来说,我们需要一个更为精准的地图,例如利用高斯泼溅技术,创建新型的3D地图。
Niantic 新地图的核心是视觉定位系统 ,其精度可以达到厘米级,并且能够根据用户行为维护和更改数字内容。我们在主要地点部署了超过250,000个高质量VPS位置,并有望在2024 年达到100万个地点。
本次现场也有展示我们自研的3D建模平台Scaniverse,用户可以1分钟左右扫描一个空间然后立即生成3D模型,不需要借助云端,也没有额外的处理成本,且可以免费使用。创建的模型也支持多种格式导出,可用于游戏开发、SNS分享、视频创作等。
补充:据了解,Scaniverse自上线以来已获得多数好评(App Store:4.8),数百万人使用它在手机上免费捕获物体和地点的3D图像。陀螺君现场用手机扫描了桌上的玩偶,整体非常高效且精细,而且重点是能够直接扫描生成Mesh模型。
VR陀螺:可以简单介绍一下高斯溅射技术?
Brian McClendon:高斯溅射是Scaniverse的一项突破性功能,目前Niantic已将高斯分布作为Scaniverse中的输出选项,这是一种可加快设备处理速度的体渲染技术,极大地提高了视觉保真度和实时观看的性能。用户可以快速扫描现实世界的位置和物体,并直接从手机共享它们。目前,Scaniverse可支持iOS和Android。
VR陀螺:从《宝可梦GO》到《怪物猎人Now》,LBS AR 游戏有哪些新的进展?请举例说明
Brian McClendon:《宝可梦GO》、《怪物猎人Now》以及《Peridot》的游戏逻辑都是基于位置探索地图,也就是说基于实际位置服务的AR游戏。但从技术上来看,虽然《宝可梦GO》与《怪物猎人Now》的游戏逻辑相同,但底层技术并不相同。多年来Niantic在AR技术上的进步与对现实场景构建经验的积累,已经让LBS AR游戏体验更为惊艳。
一方面,我们现在有了Lightship视觉定位系统,玩家可以在虚拟地图上准确定位到真实玩家的位置,并以厘米级精度跟踪位置和方向,从而支持多人在线。另一方面,随着3D映射技术不断完善,在游戏中识别树木、草丛等不同目标时更为精准灵活,从而使AR虚拟图像与现实世界的融合更为自然。
因此,如今LBS AR游戏已经为玩家提供了更为真实的体验,这也说明了开发视觉定位系统的重要性。
VR陀螺:之前Niantic的AR游戏都是基于手机开发的,您认为这些游戏做到AR眼镜上还存在哪些技术壁垒,或对产品有什么性能要求,未来是否可以实现?
Brian McClendon:LBS AR游戏很大的一个特点是在室外,我们鼓励玩家到在户外探索真实世界与虚拟世界的融合体验。至于说能否从手机转移到AR眼镜上或者是头显,有个很大问题就是,用户能不能戴着这些产品到户外行走,或者说用户可以保持戴多久。
我们看到Apple Vision Pro与Meta Quest 3都是混合现实的头显,且都是很优秀的产品,你可以通过摄像头看到真实的世界,从而带来虚实融合的增强体验,但很多体验都是在室内完成的,很少会有用户说要带着一款VR头显到室外去行走。
因此,我们也希望接下来几年可以看到更多的户外AR眼镜或者头显的好消息,已经有不少公司在尝试这个方向,我们也很期待可以在这些产品上打造一款LBS AR游戏,但是要等到一款高质量且高体验的设备出行,可能还需要几年。
VR陀螺:目前,Niantic有计划为Apple Vision Pro开发MR游戏吗?
Brian McClendon:Apple Vision Pro是一款很漂亮的产品,也是一款很专业的设备。从产品上来说,Vision Pro很适合被用来开发混合现实类的游戏,只是具体到LBS AR游戏,还是前面的问题,目前很难走到户外。另一个问题是,开发成本会很高。我们期待苹果能够推出下一代MR产品,更低的价格,更低的成本,且具有更高的开发条件,我们会很有兴趣为这款产品开发内容。
VR陀螺:LBS AR游戏开发主要困难有哪些?
Brian McClendon:LBS AR游戏基于真实世界,然后去创建AR世界地图,进而让真实世界的物体与虚拟世界的构建互动起来,最大的难题还是在地理位置上。你想在真实世界创建了一个自己的3D地图,然后很多人都可以访问,技术上是有很大难度的。
LBS AR游戏的体验很依靠技术的变化,以技术的力量连接真实世界与玩家。我们近期推出的Scaniverse就很好的解决了这个问题,用户可以很快扫描真实世界的物体,生成3D模型,然后在共享地图中快速加入自己扫描的部分。
VR陀螺:去年,Niantic宣布将在2024年为《宝可梦Go》融合AI技术,目前进展如何?AI在LBS AR游戏的开发上有哪些具体表现?
Brian McClendon:我们正在将AI技术应用于我们所开发的游戏中,AI技术的成熟应用可以很快通过语义就能识别花、草、树木等各种植物,也可以实时根据真实空间中的其他内容做出反应,并于虚拟世界展开深度互动。我们也认为AI技术的发展必将有益于游戏的开发,我们同样期待看到AI更多的表现。感谢!
VR陀螺:非常感谢Brian McClendon抽出时间与我们对话,期待下次会见!
投稿/爆料:tougao@youxituoluo.com
稿件/商务合作: 六六(微信 13138755620)
加入行业交流群:六六(微信 13138755620)
元宇宙数字产业服务平台
下载「陀螺科技」APP,获取前沿深度元宇宙讯息