StoryTeller是什么?一文让你看懂StoryTeller的技术原理、主要功能、应用场景

来源:卓商AI
发布时间:2025-04-05

StoryTeller概述简介

StoryTeller是字节跳动、上海交通大学和北京大学一起推出的系统,能基于音频视觉角色识别技术改善长视频描述的质量和一致性。系统结合低级视觉概念和高级剧情信息,生成详细且连贯的视频描述。StoryTeller由视频分割、音频视觉角色识别和描述生成三个主要模块组成,能有效处理数分钟长的视频,在MovieQA任务中展现出比现有模型更高的准确率,比最强基线Gemini-1.5-pro高9.5%的准确率。

StoryTeller的功能特色

视频分割:将长视频切割成多个短片段,保持每个片段的独立性和完整性。

音频视觉角色识别:结合音频和视觉信息,识别视频中对话对应的角色。

描述生成:为每个视频片段生成详细的描述,整合成整个长视频的连贯叙述。

数据集构建:创建并使用MovieStory101数据集,提供长视频描述的训练和测试数据。

自动评估:基于MovieQA,用GPT-4自动评估视频描述的准确性和质量。

模型训练与微调:训练多模态大型语言大模型,提高角色识别和视频描述的准确性。

全局解码:确保同一角色在不同视频片段中保持一致的识别结果。

StoryTeller的技术原理

多模态融合:整合视觉(视频帧)、音频(对话)和文本(字幕和描述)信息,全面理解视频内容。

音频分离和角色ID分配:用音频嵌入模型对每个对话进行嵌入,基于聚类算法分配全局ID,将相似的音频嵌入分配相同的ID,表示同一角色。

音频视觉角色识别模型:用大型语言大模型(如Tarsier-7B)结合OpenAI的Whisper-large-v2音频编码器,将每个音频ID映射到特定的角色。

全局解码算法:在推理时,确保不同片段中相同角色的全局ID映射到一致的角色名称,提高角色识别的准确性。

视频描述生成:用识别结果作为输入,基于大型语言大模型生成每个片段的详细描述,并整合成完整的视频描述。

StoryTeller项目介绍

GitHub仓库:https://github.com/hyc2026/StoryTeller

arXiv技术论文:https://arxiv.org/pdf/2411.07076

StoryTeller能做什么?

电影和视频内容制作:自动生成电影预告片或电影片段的描述,帮助导演和编剧快速理解视频内容。辅助视频编辑工作,基于视频描述快速定位视频中的关键片段。

视频内容分析:在视频分析领域,提取视频内容的关键信息,如角色、情节和动作,进行深入的内容分析。

辅助视障人士:为视障人士提供视频内容的音频描述,更好地理解视频内容和故事情节。

教育和培训:在教育领域,为学生提供视频教材的详细描述,增强学习体验。在职业培训中,生成视频教程的详细步骤描述,提高培训效率。

视频搜索和索引:提高视频搜索的准确性,基于视频描述快速检索视频中的相关片段。

© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有,未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
卓商AI
卓商AI

AI爱好者的一站式人工智能AI工具箱,累计收录全球10,000⁺好用的AI工具软件和网站,方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用,力争做全球排名前三的AI网址导航网站,欢迎您成为我们的一员。

猜你喜欢
  • Word WandAI
    Word WandAI Word WandAI是一款在Zendesk中集成ChatGPT人工智能的插件。它能够提高客户支持票务回复的质量,并大大减少回复时间。该插件提供了强大...
  • Squire AI
    Squire AI Squire AI是一个代码审查和质量平台,它通过人工智能技术帮助团队提高代码质量,确保代码遵循团队的最佳实践。用户可以自定义规则,Squire AI...
  • CodebaseToPrompt
    CodebaseToPrompt CodebaseToPrompt 是一个简单工具,能够将本地目录转换为大型语言模型(LLM)的结构化提示。它帮助用户选择需要包含或忽略的文件,然后以可...
  • Qwen2.5-Coder-14B
    Qwen2.5-Coder-14B Qwen2.5-Coder-14B是Qwen系列中专注于代码的大型语言模型,覆盖了0.5到32亿参数的不同模型尺寸,以满足不同开发者的需求。该模型在代...
  • smartscout
    smartscout SmartScout可帮助您在亚马逊上找到独特的产品机会。它收集了数百万个来自其他工具的数据点,为您提供有价值的信息,以做出可以提高收入,优化广告性能...
  • Copy Repo
    Copy Repo Copy Repo是一个在线工具,它允许用户一键复制粘贴GitHub上的代码库到大型语言模型(LLMs)中。这个工具的主要优点是简化了代码迁移和管理的...
  • writergenie
    writergenie 作家是经验丰富的作家的完美内容创建合作伙伴。它的AI驱动技术使您能够更快地编写并轻松创建独特的原始内容。再也不用担心会再次引起挫败感的技术问题。...
  • Cheetah
    Cheetah Cheetah是一款基于AI的macOS应用,旨在通过提供实时、私密的辅导和与实时编码平台集成,帮助用户进行远程软件工程面试。...