Meta揭露AR新技术,利用机器学习快速重建3D室内场景

Meta发展出可用语言表示场景的场景生成新模型

开发团队使用专门用于加速人工智慧与机器学习研究的Aria眼镜,来收集室内环境资料,并使用这些资料模拟出不同的室内环境。由于所有模拟训练都不涉及真实世界个人资料,使得模型训练过程可以在确保隐私的前提下进行,而且在训练完成之后,也可以使用Aria眼镜来验证模型,确认模型扩展用于物理环境的能力。

开发人员提到,SceneScript的优点之一是可扩展性,只需要在Aria合成环境资料集中的「门」添加附加参数,就可以训练网路来准确预测物理环境中门开启和关闭的程度。此外,透过在架构语言添加新特征,SceneScript便可以准确预测物体的位置,并进一步将这些物件拆解成组成元件,像是沙发在SceneScript语言表示为一组几何形状,包含了垫子、椅脚和扶手,设计师可以使用这些细节来创建真正适用于各种物理环境的增强实境内容。

SceneScript可以用于生成精确的室内地图,对于开发混合实境和增强实境头戴装置非常重要,SceneScript也替大型语言模型提供了推理物理空间的必要词汇,不仅扩展大型语言模型的应用范围,也使其能更精确地理解和回答关于物理世界的复杂问题,在数分之一秒内就可以回答像是粉刷房间需要的油漆量等问题。开发人员认为,SceneScript是增强实境头戴装置的重要里程碑,能够连起物理和数位世界。