Ruyi是什么?一文让你看懂Ruyi的技术原理、主要功能、应用场景

来源:卓商AI
发布时间:2025-04-05

Ruyi概述简介

Ruyi是图森未来推出的图生视频大模型,专为在消费级显卡上运行设计,支持多分辨率、多时长视频生成,具备首帧、首尾帧控制、运动幅度控制和镜头控制等特性。Ruyi基于DiT架构,由Casual VAE模块和Diffusion Transformer组成,用在视频数据压缩和生成。Ruyi能降低动漫和游戏内容的开发周期和成本,是ACG爱好者和创作者的理想工具。目前图森未来将Ruyi-Mini-7B版本正式开源。

Ruyi的功能特色

多分辨率、多时长生成:Ruyi支持从最小384×384到最大1024×1024分辨率的视频生成,能处理任意长宽比,最长生成120帧/5秒的视频。

首帧、首尾帧控制生成:基于最多5个起始帧和最多5个结束帧生成视频,用循环叠加生成任意长度的视频。

运动幅度控制:提供4档运动幅度控制,方便用户对整体画面的变化程度进行控制。

镜头控制:提供了上、下、左、右、静止共5种镜头控制,增加视频生成的灵活性。

Ruyi的技术原理

模型架构:Ruyi基于DiT(Diffusion Model with Transformers)架构,由两部分组成:

Casual VAE模块:负责视频数据的压缩和解压。

Diffusion Transformer:负责压缩后的视频生成。

压缩与编码:Casual VAE模块将空间分辨率压缩至1/8,时间分辨率压缩至1/4,压缩后每个像素由16位的BF16进行表示。

位置编码:DiT部分用3D full attention,在空间上使用2D RoPE(Rotary Positional Encoding)进行位置编码,时间上用sin_cos进行位置编码。

训练损失函数:最终的loss选用DDPM(Denoising Diffusion Probabilistic Models)进行训练。

参数量与训练数据:模型的总参数量约为7.1B,用约200M视频片段进行训练。

训练阶段:整个训练分为四个阶段,从低分辨率预训练到高分辨率微调,逐步提升模型性能。

Ruyi项目介绍

GitHub仓库:https://github.com/IamCreateAI/Ruyi-Models

HuggingFace模型库:https://huggingface.co/IamCreateAI/Ruyi-Mini-7B

Ruyi能做什么?

动画预制:快速生成动画角色和场景的动态演示,评估动画设计和故事流程。

游戏CG生成:在游戏开发中,自动生成游戏宣传视频或游戏内的动态背景。

电影特效预览:在电影制作中,帮助导演和特效团队预览特效场景,优化后期特效制作。

虚拟主播:生成虚拟主播的动态视频,用于直播、新闻播报或在线教育。

社交媒体内容:为社交媒体平台创建吸引人的动态视频内容,提高用户参与度和品牌曝光。

© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有,未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
卓商AI
卓商AI

AI爱好者的一站式人工智能AI工具箱,累计收录全球10,000⁺好用的AI工具软件和网站,方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用,力争做全球排名前三的AI网址导航网站,欢迎您成为我们的一员。

猜你喜欢
  • Qwen2.5-Coder-1.5B-Instruct
    Qwen2.5-Coder-1.5B-Instruct Qwen2.5-Coder是Qwen大型语言模型的最新系列,专注于代码生成、代码推理和代码修复。基于Qwen2.5的强大能力,该模型在训练时使用了5....
  • MediaFlows
    MediaFlows MediaFlows 是开发人员使用的低代码平台,可在几分钟内自动化视觉媒体相关的工作流。它提供了丰富的功能,包括使用 AI 摘要视频、使用 AI 生...
  • abtesting ai
    abtesting ai abtesting.ai可帮助企业通过其AI A/B测试软件优化其登陆页面以进行转换。使用最新技术,该软件使用户可以快速,轻松地设置A/B测试,从而为...
  • Overleaf
    Overleaf Overleaf 是基于 LaTeX 的在线协作编辑器,无需安装,支持实时协作、版本控制、数百种 LaTeX 模板等。适用于科学和技术领域的文档写作。...
  • castmagic
    castmagic Castmagic是一个由AI驱动的平台,可快速有效地将音频转换为内容。它提供转录服务,时间戳,主题和节目注释,因此您可以完全无麻烦地发布书面格式内容...
  • Synna
    Synna Synna.Ai是一个无代码、AI驱动的工作流程构建器,主要优点包括自动化报告生成、简化操作流程以及保持数据更新。它提供了简单到复杂的工作流程编辑器,...
  • Smallppt
    Smallppt Smallppt的AI工具革新了您创建引人注目的演示文稿和思维导图的方式。它可以自动设计出令人惊艳的PowerPoint幻灯片,帮助您节省时间和精力。...
  • Customers.ai
    Customers.ai Customers.ai是一款基于AI技术的销售自动化平台,提供B2C前景数据和销售自动化功能,帮助用户提高全漏斗营销绩效。该平台可以帮助用户增长电子...