上一篇
CorrDiff是什么？一文让你看懂CorrDiff的技术原理、主要功能、应用场景
SongGen是什么？一文让你看懂SongGen的技术原理、主要功能、应用场景
来源：卓商AI
发布时间：2025-04-05
SongGen概述简介
SongGen是上海AI Lab、北京航空航天大学和香港中文大学推出的单阶段自回归Transformer模型，用在从文本生成歌曲。SongGen基于歌词和描述性文本（如乐器、风格、情感等）作为输入，支持混合模式和双轨模式两种输出方式，分别用于直接生成人声与伴奏的混合音频，及分别合成人声和伴奏方便后期编辑。SongGen基于创新的音频标记化策略和训练方法，显著提升生成歌曲的自然度和人声清晰度，解决传统多阶段方法中训练和推理流程繁琐的问题。SongGen的开源性和高质量数据集为未来音乐生成研究提供了新的基准。
SongGen的功能特色
细粒度控制：用户基于歌词、描述性文本（如乐器、风格、情感等）对生成的歌曲进行控制。
声音克隆：支持基于三秒参考音频实现声音克隆，使生成的歌曲具有特定歌手的音色。
两种生成模式：提供“混合模式”（直接生成人声和伴奏的混合音频）和“双轨模式”（分别合成人声和伴奏，便于后期编辑）。
高质量音频输出：基于优化的音频标记化和训练策略，生成具有高自然度和清晰人声的歌曲。
SongGen的技术原理
自回归生成框架：基于自回归Transformer解码器，将歌词和描述性文本编码为条件输入，用交叉注意力机制引导音频标记的生成。
音频标记化：用X-Codec将音频信号编码为离散的音频标记，基于代码本延迟模式处理多代码序列，支持高效生成。
混合模式与双轨模式：
混合模式：直接生成混合音频标记，引入辅助人声音频标记预测目标（Mixed Pro），增强人声清晰度。
双轨模式：基于平行或交错模式分别生成人声和伴奏标记，确保两者在帧级别上的对齐，提升生成质量。
条件输入编码：
歌词编码：VoiceBPE分词器将歌词转换为音素级标记，基于小型Transformer编码器提取关键发音信息。
声音编码：MERT模型提取参考音频的音色特征，支持声音克隆。
文本描述编码：FLAN-T5模型将描述性文本编码为特征向量，提供音乐风格、情感等控制。
训练策略：
多阶段训练：包括模态对齐、无参考声音支持和高质量微调，逐步提升模型性能。
课程学习：逐步调整代码本损失权重，优化模型对音频细节的学习。
数据预处理：开发自动化数据预处理管道，从多个数据源收集音频，分离人声和伴奏，生成高质量的歌词和描述性文本数据集。
SongGen项目介绍
GitHub仓库：https://github.com/LiuZH-19/SongGen
arXiv技术论文：https://arxiv.org/pdf/2502.13128
SongGen能做什么？
音乐创作：快速生成歌曲雏形，探索不同风格，为歌词生成伴奏，加速创作流程。
视频配乐：为短视频、广告、电影生成背景音乐，根据内容调整风格，提升视觉效果。
教育辅助：帮助学生理解音乐创作，通过生成歌曲学习语言发音，激发创造力。
个性化体验：根据用户输入生成定制歌曲，用声音克隆实现“个人专属歌手”，增强娱乐性。
商业应用：为品牌生成专属音乐，替代版权受限的音乐素材，用于广告和推广。
© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有，未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
相关文章
-
CHANGER是什么？一文让你看懂CHANGER的技术原理、主要功能、应用场景2025-04-05 -
Kiroku是什么？一文让你看懂Kiroku的技术原理、主要功能、应用场景2025-04-05
-
Vision Search Assistant是什么？一文让你看懂Vision Search Assistant的技术原理、主要功能、应用场景2025-04-05
-
MVDrag3D是什么？一文让你看懂MVDrag3D的技术原理、主要功能、应用场景2025-04-05
-
Chonkie是什么？一文让你看懂Chonkie的技术原理、主要功能、应用场景2025-04-05
-
MSQA是什么？一文让你看懂MSQA的技术原理、主要功能、应用场景2025-04-05
卓商AI
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
最新发布
1
2
3
4
5
6
7
8
9
10
猜你喜欢
Llasa-1B
Llasa-1B 是一个由香港科技大学音频实验室开发的文本转语音模型。它基于 LLaMA 架构，通过结合 XCodec2 代码本中的语音标记，能够将文...
Stable Diffusion Model
稳定扩散网络是一种先进的AI艺术生成平台，可让您在几秒钟内从任何文字输入中生成逼真的图像和可定制的头像。拥有超过1000万个提示可供选择，立即探索并生...
Confucius-o1-14B
Confucius-o1-14B是由网易有道团队开发的推理模型，基于Qwen2.5-14B-Instruct优化而成。它采用两阶段学习策略，能够自动生...
Vidyard Prospector
Vidyard Prospector 是一款 AI 助手的销售潜在客户工具，帮助 B2B 销售代表找到潜在客户、发送个性化邮件，并安排更多的会议。通过...
booksurfai
作为书行业专家，Booksurfai使用强大的AI技术来根据个人喜好有效推荐个性化的书籍选择，从而更容易快速找到完美的书籍。使用Booksurfai的...
Deeto
Deeto是一个客户知识平台，通过将顶级客户与潜在客户联系起来，为他们提供有用的见解，回答实际问题，并详细介绍您的产品在真实世界中的实际效果，帮助您在...
Inverse Painting
Inverse Painting 是一种基于扩散模型的方法，能够从一幅目标画作生成绘画过程的时间流逝视频。该技术通过训练学习真实艺术家的绘画过程，能够...
Personas
Suno是一个音乐创作平台，通过其最新功能Personas，用户可以捕捉并保存任何曲目的独特氛围，赋予其生命。Personas允许用户保存歌曲的本质—...
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
