什么是MVBench

MVBench是一个全面的多模态视频理解基准测试，旨在评估多模态大型语言模型（MLLMs）在动态视频任务中的时间理解能力。该基准测试涵盖了20个具有挑战性的视频任务，这些任务无法仅通过单帧有效解决，需要广泛的时间理解能力，从感知到认知。

设计与特点

1. 任务设计：
   • MVBench通过静态到动态的方法定义时间相关的任务，将静态图像任务转化为动态视频任务。例如，从MME和MMBench等图像基准中提取9个空间理解任务，并扩展为20个时间理解任务。
   • 这些任务覆盖了动作、物体、位置、场景、计数、属性、姿势、角色认知等多个维度。
2. 数据处理：
   • MVBench从视频中提取16帧，并将每帧缩放为448x448像素。
   • 数据集包含公共注释视频，并自动转换为多项选择问答形式，以确保高效构建和评估公平性。
3. 评测体系：
   • 提供了详细的评测系统设计，包括提示词设计、模型训练与调优策略等。
   • 通过多样化的实验验证了不同方法在MVBench上的表现，例如指令数据联合训练、图像视频数据联合训练、LoRA微调等。
4. 模型改进：
   • 基于MVBench的研究成果，开发了更强大的基线模型VideoChat2，该模型在MVBench的15个任务上取得了领先成绩，并在其他视频问答、对话和推理数据集上表现出色。

性能评估

• MVBench的性能评估显示，现有MLLMs在时间理解方面表现不佳，但在MVBench上的表现优于其他基准测试。
• 不同方法在MVBench上的得分差异显著，例如Global Only方法的平均得分为48.3，而Local Only方法的平均得分为54.9。

应用与影响

• MVBench为多模态对话模型的发展提供了有力支持，特别是在移动方向、动作定位、计数等任务上表现优异。
• 通过MVBench的评测结果，研究人员能够更好地理解模型在视频理解任务中的不足，并推动相关技术的进步。

总结

MVBench是一个创新的多模态视频理解基准测试，通过系统地定义和评估时间相关的视频任务，填补了现有基准测试在动态视频任务中的空白。它不仅为研究人员提供了一个全面的评估平台，还推动了多模态对话模型的发展和优化