Mini-InternVL概述简介

Mini-InternVL是“迷你版”书生·万象大模型，是上海AI实验室与清华大学、南京大学等机构联合推出的轻量级多模态大型语言大模型系列，包含1B、2B和4B三个参数版本，用较小的参数量实现较高的性能，其中Mini-InternVL-4B仅用5%的参数量达到InternVL2-76B约九成的性能。Mini-InternVL用InternViT-300M作为视觉编码器，与不同的预训练语言大模型结合，基于动态分辨率输入策略和像素洗牌操作来减少视觉标记数量，提高处理效率。Mini-InternVL在多个一般多模态基准测试中表现出色，且能用简单的转移学习框架适应特定领域的下游任务。

Mini-InternVL的功能特色

多模态理解与推理：在给定图像和文本输入的情况下，理解和推理其中的语义关系。

跨领域适应性：基于知识蒸馏和转移学习技术，适应不同的领域和任务。

轻量级与高效性：Mini-InternVL在保持较小模型参数量（1亿至40亿）的同时，实现与大型模型相近的性能。使得在资源受限的环境中（如消费级GPU或边缘设备）高效运行，降低部署成本和计算资源需求。

视觉指令调优：具备根据视觉指令进行调优的能力，更好地理解和执行用户基于图像的指令。

动态分辨率输入：支持动态分辨率输入策略，根据图像的长宽比将其分割成不同大小的瓦片，并进行相应的处理。

Mini-InternVL的技术原理

视觉编码器（InternViT-300M）：作为模型的核心部分，视觉编码器负责将输入图像转换为模型能理解的特征表示。InternViT-300M是轻量级的视觉模型，基于知识蒸馏从更强大的InternViT-6B模型中继承丰富的视觉知识。蒸馏过程使得InternViT-300M能在多个视觉领域中表现出色，同时保持较小的模型参数量。

知识蒸馏：将大型教师模型的知识转移到小型学生模型中，让学生模型能继承教师模型的性能。在Mini-InternVL中，InternViT-6B作为教师模型，基于计算负余弦相似性损失，将隐藏状态的知识传递给InternViT-300M。

MLP投影器：MLP（多层感知器）投影器用在连接视觉编码器和语言大模型。将视觉编码器输出的特征向量投影到一个适合语言大模型处理的空间中，使得视觉信息和文本信息能有效地融合和交互。

预训练语言大模型（LLMs）：Mini-InternVL结合不同的预训练语言大模型，如Qwen2-0.5B、InternLM2-1.8B和Phi-3mini。

动态分辨率输入策略：基于动态分辨率输入策略。该策略根据图像的长宽比将其分割成448×448大小的瓦片，将瓦片组合成固定序列，最终生成一个2688×896分辨率的图像表示。且模型为每个瓦片添加一个缩略图，提供全局上下文信息。

像素洗牌操作：基于像素洗牌操作，模型将图像的分辨率降低到原来的四分之一，减少视觉标记的数量。

Mini-InternVL项目介绍

GitHub仓库：https://github.com/OpenGVLab/InternVL

HuggingFace模型库：https://huggingface.co/collections/OpenGVLab/internvl-adaptation

arXiv技术论文：https://arxiv.org/pdf/2410.16261

Mini-InternVL能做什么？

自动驾驶：用在环境感知、行为预测和路径规划，处理多视角图像，识别和预测交通参与者的行为，生成安全高效的行驶路径。

医学图像处理：辅助疾病诊断、图像标注和治疗方案建议，分析医学影像，提供诊断支持和治疗建议。

遥感：进行土地利用分类、灾害监测和环境监测，识别不同类型的土地利用情况，评估自然灾害影响，监测环境变化。

文档和图表理解：提取文档内容、解析表格和图表，生成文档摘要和图表解释，支持数据可视化和分析。

视频理解：提取视频关键帧和内容，识别视频中的人物行为和事件，生成视频摘要和回答视频相关问题。