三维捕捉机构Luma AI已经发布了其新的虚幻引擎插件,用于在虚幻引擎5中实时导入和渲染容积式NeRFs。
该插件在alpha版本中是免费的,它可以在UE5中显示使用Luma AI的网络应用程序生成的现实世界物体或环境的体积捕捉,以用于游戏和虚拟生产。
使用神经辐射场捕捉真实世界的三维物体和环境
Luma AI是基于神经辐射场(NeRF)的3D捕捉领域的先驱:这是一种训练神经网络的新方法,可以从一组源图像中优化场景的体积表现。
虽然它的创造者专注于将NeRF作为合成场景新视图的手段,但体积表示法可以转换为三维网格,使其成为三维扫描摄影测量的替代方法。
Luma Unreal Engine Plugin插件 演示视频:
就Luma AI而言,捕获物可以从使用其iOS应用程序在iPhone上捕获的视频中生成,也可以从上传至其网络应用程序的视频或图像的压缩文件中生成,两者目前都在测试阶段免费使用。
网络应用的用户可以下载glTF、OBJ或USDZ格式的物体捕捉,以及PLY格式的场景捕捉--现在还可以下载Luma Field文件,用于新的虚幻引擎插件。
将您的体积捕捉数据导入虚幻引擎5进行实时渲染
该插件可以将这些Luma Field文件导入到虚幻引擎中作为环境使用,自动生成一组Blueprints来照亮并显示这些捕获物。
用户可以从捕获的场景中选择烘烤的照明或从虚幻引擎场景中选择动态照明。
其他蓝图会自动裁剪捕捉到的中心物体,并生成一个天空环境。
该插件是作为两个虚幻引擎项目样本的一部分提供的,一个是为游戏和实时项目定制的,另一个是为电影和电影项目定制的,尽管它在这些项目之外也可以很好地工作。
它目前不能生成碰撞器,所以要在模拟中使用捕捉器,或者在游戏中使用物理学,您需要手动添加碰撞器对象,但是这可能会在未来的更新中改变。
价格和系统要求
Luma AI的虚幻引擎插件只与在Windows上运行的虚幻引擎5.0+兼容。它目前是免费的alpha版本。
网络应用应该可以与任何标准的桌面浏览器一起使用,而且目前是免费的测试版。
什么是NeRFs:
NeRFs是“神经辐射场表示”(Neural Radiance Fields)的简称,是一种基于深度学习的渲染技术。它使用神经网络来学习场景中物体的3D表面形状以及其所放置的位置和角度,并从中生成逼真的渲染图像。与传统的基于几何模型的渲染技术不同,NeRFs的优点在于不需要先建立一个复杂的几何场景来进行渲染,能够从已知的视角中获取单一的图片,通过深度学习算法来推断三维场景信息。这使得NeRFs在虚拟现实、增强现实、动画电影等领域中具有很高的应用潜力。
NeRF的最主要功能用一句话概括就是:使用静态场景下的多个视角的照片(大约几十至上百张),合成出任意新视角的图片。
更多CG资讯请关注:https://www.rrcg.cn/forum-612-1.html
Unreal Engine教程专区:https://www.rrcg.cn/forum-578-1.html
如有问题,请联系邮箱:rrscteam@qq.com