智东西
编译 程茜
编辑 李水青
智东西8月6日消息，昨夜，谷歌DeepMind宣布推出通用世界模型Genie 3，首个可实时交互世界模型来了。
基于文本提示，Genie 3可以允许用户以每秒24帧的速度，以720p的分辨率生成长达数分钟的交互式3D环境，Genie 2仅能生成10到20秒。
去年年底，谷歌DeepMind发布能生成各种可控制动作、可玩3D环境的大型基础世界模型Genie 2，此次发布的Genie 3，是其第一个允许实时交互的世界模型，在一致性和真实感方面相较前代有提升。如下面的示例中，Genie 3生成内容的机器人本体、周围环境质感更佳：
博客文章中，谷歌DeepMind放出了数十个Genie 3的生成案例，展示其在模拟世界物理特性、模拟自然世界、生成动画和小说建模、超越地理时间限制生成内容的能力。此外，研究人员还将其应用到具身Agent研究，如指示Agent向Genie 3发送导航操作，实现在花园里靠近软管的任务：
谷歌DeepMind Genie 3与Genie 2、由神经模型驱动的游戏引擎GameNGen、视频生成模型Veo对比，最突出的特点是其生成时长翻倍增长：
此次，谷歌DeepMind宣布以有限研究预览版的形式发布Genie 3，为一小部分学者和创作者提供早期使用机会。在博客的致谢部分，还出现了被谷歌挖来的OpenAI视频生成工具Sora的联合负责人之一蒂姆·布鲁克斯（Tim Brooks）。
网友在谷歌DeepMind的X评论区疯狂开启夸夸夸模式，有网友将其的重要性与ChatGPT、Sora发布对标：
还有网友认为这是3A游戏大作的未来，还能在VR、电视互动节目中有很大应用场景：
一位Reddit上的开发者认为Genie 3的发布，意味着理论上而言“只要有足够的计算能力和实时数据……就可以让整个世界变得可玩”。
本文动图均只截取了Genie 3生成内容的部分片段，完整案例演示请查看原博客：
博客链接：https://deepmind.google/discover/blog/genie-3-a-new-frontier-for-world-models/?utm_source=x&utm_medium=social&utm_campaign=genie3
一、模拟真实世界物理特性、动植物逼真，动画小说建模画面自然
此前世界模型在很大程度上局限于建模狭窄的领域。Genie 1引入了一种生成各种2D世界的方法，Genie 2进一步在通用性上取得进展，可以生成种类繁多的丰富3D世界，现在Genie 3不仅在生成3D世界的真实性、一致性上取得进展，还引入了实时互动能力。
以下是Genie 3生成的实时互动内容：
1、模拟世界的物理特性：复杂环境没有失真
下面的案例中，3D世界在表现水蔓延到马路上、海平面、灯光映照在水面的光影变化等都没有失真。
2、模拟自然世界：动植物表现逼真
Genie 3可以创建从动物到植物等各种复杂且充满活力的生态系统，如下面演示的庭院、湖泊、海底世界等。
3、动画和小说建模：动画人物活灵活现
Genie 3还能创建动画场景以及动画人物，动画人物的色彩、形象都符合整体环境。
4、突破时空界限：探索未知地点和过去时刻
Genie 3创建的内容可以超越地理和时间界限，探索未知的地方或者过去的时代，如下面的翼装飞行、山地骑车等场景。
二、支持一个世界切换天气、引入新角色，演示具身Agent应用潜力
除了导航输入之外，Genie 3还支持基于文本的交互形式，谷歌DeepMind的博客将其称为可提示的世界事件。也就是说，其可以改变已经生成的世界，如改变当前世界的天气条件、引入新物体等。
这种能力还扩展了模型对反事实或假设场景的学习，Agent可以从经验中学习这些场景来处理意外情况。
如下面的演示中，在给定的“草原”场景中，案例演示可以看到棕熊、绿色拖拉机、骑马的人分别进入画面。
此外，为了测试Genie 3创建的世界与未来Agent训练的兼容性，研究人员为用于3D虚拟场景的通用Agent SIMA生成了世界。
在每个世界中，其都指示Agent完成不同任务，并通过向Genie 3发送导航操作来实现这些目标。与其他环境一样，Genie 3并不知道代理的目标，而是根据代理的操作来模拟未来。
下面的“面包店”场景中，演示出分别给出了走进搅拌机、前往冷却架、走到玻璃柜前的任务：
在给定的“市场”环境中，案例分别演示了走进花摊、去面包师那里等任务：
在具身Agent的研究领域，研究人员就可以选择一个世界设定，然后选择希望Agent实现的目标并观察它如何实现目标。
基于Genie 3在保持一致性方面的优势，现在其可以执行更长的操作序列，从而实现更复杂的目标。
三、环境几分钟内可保持一致，Genie 3仍有五大局限性
Genie 3通过记忆已生成的内容并进行长期推理，自学世界中的物体如何移动、下落和互动。该模型是自回归的，这意味着它一次只生成一帧，其必须回顾之前生成的内容，才能决定下一步要做什么。这是该架构的关键部分。
为了实现Genie 3生成内容高度可控且能实时交互，在每一帧的自回归生成过程中，模型必须考虑先前生成的轨迹。例如，如果用户在一分钟后再次访问某个位置，模型必须参考一分钟前的相关信息。
同时为了实现实时交互性，这种计算必须每秒进行多次，以响应新的用户输入。
想要使AI生成的世界具有沉浸感，生成内容必须在很长一段时间内保持物理一致性。然而，自回归生成环境通常比生成完整视频更难，因为误差往往会随着时间的推移而累积。
Genie 3的环境在几分钟内仍能保持基本一致，视觉记忆可以追溯到一分钟前。如下图所示的“建筑物左侧的树木”，在互动过程中始终保持一致：
其博客提到，Genie 3的一致性是一项新兴能力。NeRF和高斯分布等方法在实现一致的可导航3D环境同时，需要依赖于提供明确的3D表示，相比之下，Genie 3生成的世界是根据世界描述和用户操作逐帧创建的，因此生成内容更为丰富、真实。
Genie 3通过记忆已生成的内容并进行长期推理，自学世界中的物体如何移动、下落和互动。该模型是自回归的，这意味着它一次只生成一帧，其必须回顾之前生成的内容，才能决定下一步要做什么。这是该架构的关键部分。
谷歌DeepMind的博客中也提到了Genie 3目前的局限性：
行动空间有限：尽管可触发的世界事件允许进行广泛的环境干预，但它们不一定由Agent本身执行，Agent可直接执行的操作范围目前受到限制；
与其他Agent的交互和模拟：准确建模共享环境中多个独立Agent之间的复杂交互仍然是一个持续的研究挑战；
准确表示真实世界的位置：Genie 3目前无法以完美的地理精度模拟真实世界的位置；
文本渲染：通常只有在输入世界描述中提供时才会生成清晰易读的文本；
交互时长有限：该模型目前支持几分钟的持续交互，无法支持长达数小时的交互。
在此基础上，谷歌DeepMind宣布Genie 3以有限研究预览版的形式发布，使其能够从其他学者处收集重要的反馈和提供跨学科视角。
结语：谷歌DeepMind深耕模拟环境研究，或加速AI Agent训练
此前十多年来，谷歌DeepMind一直致力于模拟环境领域的开创性研究，从训练Agent掌握实时战略游戏， 到开发用于开放式学习和机器人技术的模拟环境，再到开发世界模型。
去年，其推出Genie 1和Genie 2两大基础世界模型，可以为Agent生成新的环境，并发布视频生成模型Veo 2和Veo 3。
可以看出，这些AI系统能够利用自身对世界的理解来模拟世界的各个方面，使Agent能够预测环境将如何演变以及其行为将如何影响环境。谷歌DeepMind的博客提到，世界模型是迈向通用人工智能（AGI）的关键基石，因为它们使得在丰富多样的模拟环境中训练AI Agent成为可能。
从目前的应用场景来看，Genie 3或许可以为机器人和自主系统等提供训练空间并评估其表现。未来，这项技术或许能在我们迈向AGI的过程中发挥关键作用。
