Meta推出新一代3D基础模型:AssetGen 2.0
AssetGen 2.0是什么?
Meta 推出的 AssetGen 2.0,是一款新的 3D 模型生成工具。它能用文字或图片提示来快速做出又精细又逼真的 3D 模型和贴图。AssetGen 2.0 用的是单阶段 3D 扩散技术,让生成过程更简单,模型的形状和纹理也更协调。Meta 想靠这个工具,让做 3D 内容像做 2D 内容一样轻松,方便大家搭建虚拟世界。而且,Meta 还在搞一个新功能,以后能一次性生成整个 3D 场景,让 3D 内容创作更普及。
AssetGen 2.0功能
AssetGen 2.0是一款专为将文本和图像提示转化为高质量3D素材而设计的生成式模型,由Meta内部研发的两个子模型构成,一个用于生成3D网格(meshes),另一个用于生成贴图(textures)。
技术架构
单阶段 3D 扩散模型:与 AssetGen 1.0 不同,AssetGen 2.0 采用单阶段 3D 扩散模型直接从文本提示生成 3D 网格,而不是先生成 2D 视图再处理。这种架构使其能够生成具有几何一致性和精细细节的 3D 资产。
纹理生成改进:AssetGen 2.0 包含一个升级的 TextureGen 模型,用于生成高质量的纹理。新模型在视图一致性、纹理修复和纹理分辨率方面进行了改进。
应用场景
3D 世界创建:Meta 目前在内部使用 AssetGen 2.0 创建 3D 虚拟世界,并计划在今年晚些时候将其推广到 Horizon 创作者和 Meta Horizon Desktop 编辑器。
整套 3D 场景生成:Meta 还计划在未来几个月内推出基于 AssetGen 2.0 的整套 3D 场景生成功能,使创作者能够通过简单的文本或图像提示快速生成复杂的虚拟环境。
AssetGen 2.0与AssetGen 1.0有哪些提升?
在继承AssetGen 1.0的基础上,AssetGen 2.0实现了在3D生成式ai研究上的重大突破。它采用单阶段3D扩散模型(single - stage 3D diffusion model),大幅提升了3D网格的细节表现力和真实度,配套的TextureGen模型确保资产不仅视觉效果引人注目,还具备高质量贴图,能满足生产环境需求。该模型能在几何结构上保持一致性,同时拥有极其精细的细节。与AssetGen 1.0不同,它在几何建模方面采用3D扩散机制,并在大规模3D素材语料库上进行训练,贴图生成方面引入了视角一致性增强、贴图修复以及更高分辨率的贴图生成等新技术。
另外,AssetGen 2.0 生成的 3D 资产在细节和保真度方面相比 AssetGen 1.0 有更明显的提升,能够生成具有精细几何细节的资产。
详细:https://developers.meta.com/horizon/blog/AssetGen2