Fugatto概述简介

Fugatto是英伟达（NVIDIA）推出的音频合成和转换模型，全称为”Foundational Generative Audio Transformer Opus 1″。模型能根据文本提示生成音频或视频，接收并修改现有的音频文件。Fugatto模型具有强大的能力，例如将钢琴旋律转换成人声演唱版本，或者改变口语录音中的口音和情绪表达。在音频编辑和制作领域具有极高的应用价值。Fugatto模型的架构基于增强型的Transformer模型，采用了自适应层归一化等特定修改，支持复杂的组合指令。

Fugatto的功能特色

音频生成与转换：Fugatto能根据文本描述生成音效和音乐，例如将钢琴演奏转换为人声歌唱，或改变录音的口音和情绪。

多任务学习：模型支持多种音频生成和转换任务，包括音乐创作、声音效果设计和语音合成等。

精细的艺术控制：通过引入ComposableART技术，用户可以组合多个指令，实现对声音属性的精细控制，调整音乐的节奏、音色，或改变语音的情感和口音。

动态音频生成：Fugatto能生成随时间变化的声音景观，用户可以控制声音的变化轨迹，音频内容更加丰富和生动。

多语言和口音支持：Fugatto具备强大的多语言和口音能力，能生成各种语言的语音内容，支持多种口音和方言，音频创作更加贴近现实。

音景创作：Fugatto可以为电影和音频制作创建身临其境的音景，能模拟自然现象的声音，例如雷雨声与鸟鸣声的结合，为用户提供丰富的听觉体验。

语音样本生成：模型能生成新的语音样本，可以改变交付的语气和风格，为每次播放赋予独特的触感。

Fugatto的技术原理

深度神经网络：Fugatto 基于深度神经网络，经过优化可以理解文本、将描述转换为声音，根据用户的特定需求调整其输出。

大型语言大模型 (LLM)：Fugatto 用大型语言大模型来增强指令生成，能更好地理解和解释音频和文本提示之间的关系。

数据生成方法：Fugatto 采用创新的数据生成方法，超越了传统的监督学习。专门的数据集生成技术，创建各种音频和转换任务。

可组合音频表示转换 (ComposableART)：Fugatto 在推理过程中采用了称为ComposableART的技术，能组合在训练期间只能单独看到的指令。

时间插值：Fugatto 能生成随时间变化的声音，NVIDIA将这一功能称为时间插值。例如，可以模拟暴雨穿过区域的声音，雷声逐渐增强，然后慢慢消失在远处。

生成新奇声音：与大多数只能重现所接触的训练数据的模型不同，Fugatto支持用户创建以前从未见过的音景。

Transformer模型的特定修改：Fugatto 的架构基于经过特定修改（如自适应层归一化）增强的Transformer模型，有助于在不同输入之间保持一致性，比现有模型更好地支持作曲指令。

Fugatto项目介绍

Github仓库：https://github.com/fugatto/fugatto.github.io/blob/main/index.md

技术论文：https://d1qx31qr3h6wln.cloudfront.net/publications/FUGATTO.pdf

Fugatto能做什么？

音乐创作：Fugatto可以作为音乐人的创作工具，帮助他们快速生成符合需求的音乐内容。

声音设计：在电影、游戏等多媒体内容制作中，Fugatto能为声音设计师提供丰富的声音素材和创意灵感，包括自然环境声、机械声或特殊效果声。

语音合成与转换：Fugatto支持文本到语音的转换，能生成多种语言和口音的语音内容，实现语音风格的转换，如口音或情感状态的变化。

广告音频制作：广告代理商可以用Fugatto快速调整广告活动的口音和情感，适应不同地区或情境的需求。

视频游戏音频：视频游戏开发人员可以用Fugatto修改游戏中预先录制的音频素材，或根据文本说明和可选的音频输入动态创建新的音频素材。