从《The Heretic》(异教徒) 的主角 Gawain 到《Enemies》的主角 Louise，Unity Demo 团队持续创造高质量的实时渲染影片，并推动 Unity 在高保真内容创作领域的突破革新，在这些 Demo 中数字人技术备受瞩目。
Unity Demo 团队对超写实数字人技术的追求永无止境。自 GDC 2022 上发布《Enemies》以来，Demo 团队与 Unity 图形工程团队及相关服务供应商开展合作，共同打造了多种解决方案，让数字人的创作功能更完善、效果更逼真。在 SIGGRAPH 2022 期间，Unity 公布了下一步计划：用轻量的 Ziva 布偶(puppet)来替换角色表演的庞大 4D 数据回放。该计划整合了 Ziva 的动画技术及 Unity 最前沿的图形学技术，进一步完善了端到端的角色动画创作流程。除了更新后的基于发丝的头发渲染方案(Unity Hair Solution)与更新后的数字人软件包，《Enemies》实时演示包现在也已经开放下载，前往文末地址即可获取，亲自体验项目运行。Gawain，Unity 的首位数字人
虽然影片本身与原版并无太大区别，但是整合了 Ziva 技术后，我们的主角拥有了新的生命力。
Ziva 在 VFX 行业拥有多年的经验，持续研究先进技术，帮助游戏、线性内容制作和实时项目实现更高的动画质量。其基于机器学习(ML)的技术能模拟出极度逼真的面部动画及身体与肌肉的形变。
为了实现《Enemies》高度写实的画面，Ziva 使用了机器学习与 4D 数据捕捉，这比传统的 3D 演员扫描流程多了一个维度。原本静态、不可编辑的 4D 面部表演现在变成了一个带面部骨架的实时布偶，可以随时添加动画或调整面部绑定，同时维持高保真度。在创作中，我们以 4D 数据为基础训练了一种机器学习模型，它可用于任何内容演出。最终，原本 3.7GB 大的面部骨架被精简至 50MB，并且所有 4D 表演中的细节也都得以保留。这项技术能用轻量化动画数据完成最终动画，并以更高效的方式创作实时动画。为了制作新版 Louise，我们与 Ziva 团队展开了合作。他们使用现有的 4D 数据库处理机器学习工作流。我们则从演员的身上收集了额外的 4D 表演数据(只需拍摄几种额外的表情)。有着这个组合成的数据集，我们训练出了一个 Ziva 布偶来精确地重现原表演。在此基础上我们还能随意修改表演，既可以调整小细节又能更改整个表情。借助机器学习控制 4D 数据，未来就能将一次表演应用到任意大小的面部，或用任意 3D 头部模型运行动画，也能将一段演出轻松应用到多个演员和实时数字人身上完成再创作，这是机器学习技术的一大优势。在机器学习部分完成后，我们有 200-300 个参数，当它们以不同的权重组合起来，可以极为精准地还原 4D 数据中的所有内容。我们不再需要担心不同的动画师们手动调整的表演会有不同，因为不论面部动画如何调整，原本演员的个性与气质始终都能被体现。由于 Ziva 技术是基于变形而非面部骨架的，这让我们可以操控最细微的细节，因为面部动画所采取的控制方案能够应用高精度的机器学习参数/数据。
至此，我们能利用机器学习得来的参数灵活地创建骨架、控制面部动画。Ziva 布偶上不存在繁复关节，只有基本面部逻辑和颈部关节。
这种新的数字人工作流有众多优点。首先，我们可以动态地控制《Enemies》数字人的表演。如果想把故事开发成互动体验，很重要的一点是扩展数字角色对事物的反应，比如利用表情变化对玩家的操作表达出微妙的赞同或不赞同。我们可以在交付后继续改动角色的表演，数字角色 Louise 能以完全不同的表情说同一句台词，能显得更友善、更生气或展现其他任意情绪。我们还能手动创作新表演，即使原本演员未做过这些面部表情或反应。为了获得最高的保真度，Ziva 团队可以用已有的 4D 数据新建一个布偶。他们最新发布的 beta 版 Face Trainer 是基于全面 4D 数据库和机器学习算法打造的，可以训练任意面部网格模型来实时表演极为复杂的表情，而无需捕捉额外的 4D 数据。另外，只有第一句台词的创作需要花上一定的时间和成本，往后的新台词创作起来会省时省力得多。我们可以让演员戴上 HMC 头戴摄像机来说出更多台词，然后使用 HMC 数据驱动布偶，或请另一名表演者说出台词，把采集到的数据重新匹配到布偶上。《Enemies》的表演被应用到另一个布偶上，展示于 SIGGRAPH 2022
在 SIGGRAPH 2022 中我们演示了如何将《Enemies》的主角面部动作数据应用到另一位女演员布偶模型上，在其他内容原封不动的情况下完成了主演更换。为了进一步提高《Enemies》的图像质量，我们利用了多个 HDRP 系统。包括 Shader Graph motion vectors(运动矢量)，Adaptive Probe Volumes(适应性探针体积,APV) 及 Hair Shading(头发着色)。《Enemies》还利用了 HDRP 的实时光线追踪和 Unity 的 NVIDIA DLSS 2.0 (深度学习超采样) 原生支持，让项目能以 4K 运行，画面逼近原生分辨率。所有这些更新后的功能目前已在 Unity 2022.2 技术更迭版中开放使用。全新的发丝级头发渲染方案开发于《Enemies》项目期间，可以实时模拟单根发丝。这项技术目前已作为实验性软件包在 GitHub 开放(需 Unity 2022.2.0f1 及以上版本)，并包含使用教程。GitHub 地址：
https://github.com/Unity-Technologies/com.unity.demoteam.hair通过整合 Unity 头发的创建、模拟、着色和渲染，该方案可以应用在数字人和数字生物上，用于写实或风格化的项目。我们即将推出 HDRP 的 Software Rasterizer(软件光栅器) 将会为头发渲染方案带来更高性能。未来我们还会进一步整合 Wētā Wig 工具实现更复杂的毛发造型，为开发者带来更多样的创作选择，例如《Lion》中出现的复杂狮毛造型。新版数字人软件包进一步扩展了《The Heretic》里的创新技术，为角色提供了更逼真的着色模型。GitHub 地址：
https://github.com/Unity-Technologies/com.unity.demoteam.digital-human 运行于 GPU 的高性能 Skin Attachment(皮肤附着) 系统，用于精细网格模型 虹膜带焦散效果的逼真眼球(在 Unity 2022.2 的 HDRP 中可用)还有更多令人期待的新功能将会陆续登场。如果想要亲自体验《Enemies》项目运行，可前往如下地址，下载项目实时演示包。下载地址：
https://demos.unity3d.com/Enemies.zip
长按关注
第一时间了解Unity引擎动向，学习最新开发技巧