Genie 2是什么?一文让你看懂Genie 2的技术原理、主要功能、应用场景

来源:卓商AI
发布时间:2025-04-05

Genie 2概述简介

Genie 2是DeepMind推出的新一代大规模基础世界模型,仅凭一张图片生成长达1分钟的可交互3D游戏世界。Genie 2能模拟出物体交互、角色动画、物理效果等复杂动态,支持用键盘和鼠标进行操作。Genie 2具备长时间记忆功能,能记住且精确还原暂时离开视野的场景。Genie 2能实时创造符合逻辑的新场景内容,在长达一分钟的时间内保持整个世界的一致性。

Genie 2的功能特色

基于图像生成3D世界:Genie 2能根据单张图片生成可交互的3D游戏世界,最长可玩1分钟。

动作控制:模型能响应键盘和鼠标输入的动作,识别且正确移动角色。

生成反事实场景:基于同一个开始画面,创造出多个不同的发展路径。

长时间记忆:能记住暂时离开画面的场景,在画面重新进入视野时精确还原。

持续生成新场景:在过程中实时创造出符合逻辑的新场景内容,且保持世界一致性。

多样化环境生成:能生成多种不同的观察视角,如第一人称视角、等距视角或第三人称驾驶视角。

3D结构创建:创建复杂的3D视觉场景。

物体属性与交互:建模各种物体交互,例如气球爆裂、开门和射击炸药桶。

Genie 2的技术原理

自回归潜变量扩散模型:基于大规模视频数据集训练的自回归潜变量扩散模型。

视频帧处理:视频的潜变量帧首先基于自动编码器处理,再传递给一个大规模Transformer动态模型。

因果掩码训练:Transformer模型基于因果掩码进行训练,类似于大型语言大模型所使用的掩码方式。

自回归采样:在推理阶段,Genie 2用自回归的方式进行采样,逐帧用单个动作和先前的潜变量帧。

无分类器指导:在动作控制中用无分类器指导(classifier-free guidance)提高动作的可控性。

Genie 2项目介绍

项目官网:deepmind.google/discover/blog/genie-2

Genie 2能做什么?

智能体训练与评估:创建复杂的虚拟环境,用在训练和测试AI智能体在模拟环境中的表现和决策能力。

游戏开发:用Genie 2生成的动态世界,游戏开发者能设计出更加丰富和互动的游戏内容,提升玩家的沉浸感。

模拟与训练:在军事训练中模拟战场环境,或在教育中模拟历史事件,提供逼真的模拟体验,用在训练和学习。

机器人学习:作为机器人训练的平台,模拟不同的环境和情况,帮助机器人学习如何在现实世界中导航和操作。

虚拟现实(VR)和增强现实(AR):结合VR和AR技术,创建虚拟环境,用在娱乐、教育或专业训练,提供沉浸式体验。

© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有,未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
卓商AI
卓商AI

AI爱好者的一站式人工智能AI工具箱,累计收录全球10,000⁺好用的AI工具软件和网站,方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用,力争做全球排名前三的AI网址导航网站,欢迎您成为我们的一员。

猜你喜欢
  • HitPaw AI Image Generator
    HitPaw AI Image Generator HitPaw AI艺术生成器是一个基于AI技术的创造性艺术生成器,旨在与全球充满活力的创作者共享先进的AI技术。加入我们的社区,分享您生成的AI艺术作...
  • gocharlie
    gocharlie Gocharlie是任何营销人员的理想助手。它仅在一键单击中创建具有超过1,500个单词的博客文章,引人入胜的社交媒体广告和字幕,令人惊叹的4K,垂直...
  • Boden Annotation Service Enhancement (BASE)
    Boden Annotation Service Enhancement (BASE) 博登智能自主研发的数据标注处理平台——BASE(Boden Annotation Service Enhancement),具有超强适用性,可完成从数...
  • ChatCody
    ChatCody ChatCody是一个在GitHub中嵌入的AI工程师,可以帮助开发者提高生产力。它可以自动处理代码贡献、提供详细的Pull Request审查、优化...
  • text humanizer com
    text humanizer com 使用Text-Humanizer.com转换您的书面内容。 text-humanizer.com免费的AI chatgpt工具增强了您的文本并使您的文...
  • AI Photo Filter
    AI Photo Filter AI Photo Filter是一个在线服务,使用人工智能技术将用户上传的照片转换成多种艺术风格,如动漫、粘土、3D、像素艺术等。它适用于初学者和专业...
  • Donakosy
    Donakosy Donakosy是一款智能AI技术平台,为专业人士、内容创作者、图像设计、语音生成等提供全方位的AI服务。通过Chat GPT、AI和OpenAI技术...
  • socialsonic
    socialsonic 通过社交人士 - 您的AI个人品牌教练最大化您的LinkedIn影响力。创建引人注目的内容,战略性地参与并在一个地方跟踪成功。从一开始就保持趋势并提升...