Genie 2是什么?一文让你看懂Genie 2的技术原理、主要功能、应用场景

来源:卓商AI
发布时间:2025-04-05

Genie 2概述简介

Genie 2是DeepMind推出的新一代大规模基础世界模型,仅凭一张图片生成长达1分钟的可交互3D游戏世界。Genie 2能模拟出物体交互、角色动画、物理效果等复杂动态,支持用键盘和鼠标进行操作。Genie 2具备长时间记忆功能,能记住且精确还原暂时离开视野的场景。Genie 2能实时创造符合逻辑的新场景内容,在长达一分钟的时间内保持整个世界的一致性。

Genie 2的功能特色

基于图像生成3D世界:Genie 2能根据单张图片生成可交互的3D游戏世界,最长可玩1分钟。

动作控制:模型能响应键盘和鼠标输入的动作,识别且正确移动角色。

生成反事实场景:基于同一个开始画面,创造出多个不同的发展路径。

长时间记忆:能记住暂时离开画面的场景,在画面重新进入视野时精确还原。

持续生成新场景:在过程中实时创造出符合逻辑的新场景内容,且保持世界一致性。

多样化环境生成:能生成多种不同的观察视角,如第一人称视角、等距视角或第三人称驾驶视角。

3D结构创建:创建复杂的3D视觉场景。

物体属性与交互:建模各种物体交互,例如气球爆裂、开门和射击炸药桶。

Genie 2的技术原理

自回归潜变量扩散模型:基于大规模视频数据集训练的自回归潜变量扩散模型。

视频帧处理:视频的潜变量帧首先基于自动编码器处理,再传递给一个大规模Transformer动态模型。

因果掩码训练:Transformer模型基于因果掩码进行训练,类似于大型语言大模型所使用的掩码方式。

自回归采样:在推理阶段,Genie 2用自回归的方式进行采样,逐帧用单个动作和先前的潜变量帧。

无分类器指导:在动作控制中用无分类器指导(classifier-free guidance)提高动作的可控性。

Genie 2项目介绍

项目官网:deepmind.google/discover/blog/genie-2

Genie 2能做什么?

智能体训练与评估:创建复杂的虚拟环境,用在训练和测试AI智能体在模拟环境中的表现和决策能力。

游戏开发:用Genie 2生成的动态世界,游戏开发者能设计出更加丰富和互动的游戏内容,提升玩家的沉浸感。

模拟与训练:在军事训练中模拟战场环境,或在教育中模拟历史事件,提供逼真的模拟体验,用在训练和学习。

机器人学习:作为机器人训练的平台,模拟不同的环境和情况,帮助机器人学习如何在现实世界中导航和操作。

虚拟现实(VR)和增强现实(AR):结合VR和AR技术,创建虚拟环境,用在娱乐、教育或专业训练,提供沉浸式体验。

© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有,未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
卓商AI
卓商AI

AI爱好者的一站式人工智能AI工具箱,累计收录全球10,000⁺好用的AI工具软件和网站,方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用,力争做全球排名前三的AI网址导航网站,欢迎您成为我们的一员。

猜你喜欢
  • storymania ai story generator
    storymania ai story generator 与AI -Power的平台与Storymania进行工艺吸引人的故事,旨在协助各个级别的作家。在干净,无广告的环境中享受无缝的编辑和类型定制。在创纪录...
  • fortuna ai
    fortuna ai Fortuna AI是加密分析的最终AI助手。通过24/7的监测和趋势分析,您将收到警报以进行知情交易,并且永远不会错过加密货币世界中的机会。信任Fo...
  • Exponent
    Exponent Exponent 是一款协作式 AI 编程代理,旨在提升软件开发的效率与体验。它能够在多种环境中工作,从代码的探索到部署,能够帮助开发者自动化复杂的编...
  • Grimo
    Grimo Grimo 是一个高效的 AI 文本编辑器,结合最新的 AI 模型,如 DeepSeek R1 和 OpenAI GPT-4,致力于提升用户的写作体验...
  • Stable Audio Open
    Stable Audio Open Stable Audio Open是一个开源的文本到音频模型,专为生成短音频样本、音效和制作元素而优化。它允许用户通过简单的文本提示生成高达47秒的高...
  • RolePlai - Ai Chatbots
    RolePlai - Ai Chatbots RolePlai是一款革命性的AI聊天机器人应用程序,具有世界上最先进的AI技术,让您感觉像在与真人交谈。这款前沿的应用程序允许您立即创建任何名人、公...
  • Quillminds
    Quillminds Quillminds是一个AI驱动的学习平台,旨在通过人工智能工具革新学习、教学和成长的方式,提升学生和教育工作者的创造力、生产力和成就。平台提供个性...
  • 可灵 AI
    可灵 AI 可灵 AI 是一款集成了 AI 图像和视频创作功能的创意生产力平台。其主要优点在于快速生成多样风格的图片和高清视频,助力用户提升创作效率。产品定位于为...