上一篇
FlipSketch是什么？一文让你看懂FlipSketch的技术原理、主要功能、应用场景
StoryTeller是什么？一文让你看懂StoryTeller的技术原理、主要功能、应用场景
来源：卓商AI
发布时间：2025-04-05
StoryTeller概述简介
StoryTeller是字节跳动、上海交通大学和北京大学一起推出的系统，能基于音频视觉角色识别技术改善长视频描述的质量和一致性。系统结合低级视觉概念和高级剧情信息，生成详细且连贯的视频描述。StoryTeller由视频分割、音频视觉角色识别和描述生成三个主要模块组成，能有效处理数分钟长的视频，在MovieQA任务中展现出比现有模型更高的准确率，比最强基线Gemini-1.5-pro高9.5%的准确率。
StoryTeller的功能特色
视频分割：将长视频切割成多个短片段，保持每个片段的独立性和完整性。
音频视觉角色识别：结合音频和视觉信息，识别视频中对话对应的角色。
描述生成：为每个视频片段生成详细的描述，整合成整个长视频的连贯叙述。
数据集构建：创建并使用MovieStory101数据集，提供长视频描述的训练和测试数据。
自动评估：基于MovieQA，用GPT-4自动评估视频描述的准确性和质量。
模型训练与微调：训练多模态大型语言大模型，提高角色识别和视频描述的准确性。
全局解码：确保同一角色在不同视频片段中保持一致的识别结果。
StoryTeller的技术原理
多模态融合：整合视觉（视频帧）、音频（对话）和文本（字幕和描述）信息，全面理解视频内容。
音频分离和角色ID分配：用音频嵌入模型对每个对话进行嵌入，基于聚类算法分配全局ID，将相似的音频嵌入分配相同的ID，表示同一角色。
音频视觉角色识别模型：用大型语言大模型（如Tarsier-7B）结合OpenAI的Whisper-large-v2音频编码器，将每个音频ID映射到特定的角色。
全局解码算法：在推理时，确保不同片段中相同角色的全局ID映射到一致的角色名称，提高角色识别的准确性。
视频描述生成：用识别结果作为输入，基于大型语言大模型生成每个片段的详细描述，并整合成完整的视频描述。
StoryTeller项目介绍
GitHub仓库：https://github.com/hyc2026/StoryTeller
arXiv技术论文：https://arxiv.org/pdf/2411.07076
StoryTeller能做什么？
电影和视频内容制作：自动生成电影预告片或电影片段的描述，帮助导演和编剧快速理解视频内容。辅助视频编辑工作，基于视频描述快速定位视频中的关键片段。
视频内容分析：在视频分析领域，提取视频内容的关键信息，如角色、情节和动作，进行深入的内容分析。
辅助视障人士：为视障人士提供视频内容的音频描述，更好地理解视频内容和故事情节。
教育和培训：在教育领域，为学生提供视频教材的详细描述，增强学习体验。在职业培训中，生成视频教程的详细步骤描述，提高培训效率。
视频搜索和索引：提高视频搜索的准确性，基于视频描述快速检索视频中的相关片段。
© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有，未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
相关文章
-
CHANGER是什么？一文让你看懂CHANGER的技术原理、主要功能、应用场景2025-04-05 -
Kiroku是什么？一文让你看懂Kiroku的技术原理、主要功能、应用场景2025-04-05
-
Vision Search Assistant是什么？一文让你看懂Vision Search Assistant的技术原理、主要功能、应用场景2025-04-05
-
MVDrag3D是什么？一文让你看懂MVDrag3D的技术原理、主要功能、应用场景2025-04-05
-
Chonkie是什么？一文让你看懂Chonkie的技术原理、主要功能、应用场景2025-04-05
-
MSQA是什么？一文让你看懂MSQA的技术原理、主要功能、应用场景2025-04-05
卓商AI
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
最新发布
1
2
3
4
5
6
7
8
9
10
猜你喜欢
deli
Deli是第一个启用AI的住宅房地产经纪人的房地产搜索工具。熟食店让房地产经纪人以数百个新的搜索标准在几秒钟内找到MLS列表。根据客户的需求和需求搜索...
Exponent
Exponent 是一款协作式 AI 编程代理，旨在提升软件开发的效率与体验。它能够在多种环境中工作，从代码的探索到部署，能够帮助开发者自动化复杂的编...
Next.js
Next.js 是一个用于构建现代 React 应用程序的框架。它提供了许多功能和优势，包括服务器渲染、静态生成、热模块替换等。Next.js 的定价...
Grimo
Grimo 是一个高效的 AI 文本编辑器，结合最新的 AI 模型，如 DeepSeek R1 和 OpenAI GPT-4，致力于提升用户的写作体验...
RolePlai - Ai Chatbots
RolePlai是一款革命性的AI聊天机器人应用程序，具有世界上最先进的AI技术，让您感觉像在与真人交谈。这款前沿的应用程序允许您立即创建任何名人、公...
Voz AI Note Taker
Voz AI Note Taker是一个利用人工智能技术自动记录、转录和总结讲座、通话和视频内容的生产力工具。它通过自动化的方式生成结构化笔记，帮助用...
stocks-insights-ai-agent
该产品是一个全栈应用，通过LLM（大型语言模型）和LangChain技术，结合LangGraph实现股票数据和新闻的检索与分析。它利用ChromaDB...
AI Cover Letter Creator
AI求职助手是一款使用人工智能技术生成个性化求职信的工具。用户只需提供自己的简历和职位描述，AI求职助手将自动生成定制的求职信。该工具提供方便快捷的方...
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
