什么是ShareGPT4Video
ShareGPT4Video是一个旨在通过提供密集且精确的视频标题来改善大型视频语言模型（LVLMs）对视频的理解和文本到视频模型（T2VMs）的视频生成的项目。通过精心设计的数据过滤和注释策略开发，解决现有大型多模态模型（LMMs）在视频理解方面的瓶颈。
该项目引入了差异视频标题生成策略（DiffSW），该策略稳定、可扩展且高效，适用于生成任意分辨率、宽高比和长度的视频标题。通过这种方法，ShareGPT4Video构建了一个包含40K高质量视频的数据集，这些视频涵盖了广泛类别，并且其标题包含了丰富的世界知识、物体属性、摄像机运动以及详细且精确的事件时间描述。
ShareGPT4Video：https://github.com/ShareGPT4Omni/ShareGPT4Video
ShareGPT4Video包括三个主要组成部分：
ShareGPT4Video：这是一个包含4万个GPT4V注释的密集视频标题的数据集，这些视频具有不同的长度和来源。这些标题通过精心设计的数据过滤和注释策略开发，旨在为视频理解和生成提供更丰富的信息。
ShareCaptioner-Video：这是一个高效的视频标题生成模型，能够为任意视频生成高质量的标题。它基于ShareGPT4Video数据集进行训练，能够处理各种视频内容，并生成详细且精确的事件描述。
ShareGPT4Video-8B：这是一个简单但卓越的LVLM，它在三个前沿视频基准测试中达到了最先进的性能。该模型通过使用ShareGPT4Video数据集进行预训练和微调，显著提高了视频理解和生成的质量。
ShareGPT4Video亮点
高质量视频字幕：ShareGPT4Video系列通过精心设计的数据过滤和标注策略，开发了40K GPT4V注释的密集视频字幕。这些字幕不仅涵盖了不同长度和来源的视频，而且包含了丰富的世界知识、物体属性、摄像机运动等详细信息。
高效视频标注模型：ShareCaptioner-Video是一个高效的视频标注模型，能够为任意视频生成高质量的美学字幕。它已经为480万个高质量美学视频进行了标注，这些视频在10秒文本到视频生成任务中得到了验证。
卓越的视频语言模型：ShareGPT4Video-8B是一个简单但卓越的视频语言模型，它在三个前沿视频基准测试中达到了最先进（SOTA）性能。这个模型通过使用GPT4V进行视频标注，采用了一种新颖的差异视频标注策略，从而实现了对视频内容的深入理解和生成。
跨模态任务的解决方案：该项目不仅关注视频理解，还致力于文本到视频模型（T2VMs）的视频生成。通过提供高质量的视频字幕，ShareGPT4Video能够帮助这些模型更好地理解和生成视频内容。
多模态基准测试：ShareGPT4Video在多个多模态视频基准上进行了全面评估，包括VideoBench、MVBench和TempCompass等，这些基准测试旨在挑战LVLMs处理视频任务的能力。
时间理解的提升：ShareGPT4Video-8B在TempCompass基准测试中实现了令人印象深刻的平均准确率，这表明它在理解视频中的时间序列方面具有显著优势。
此外，ShareGPT4Video系列还包括了对当前LVLMs性能的验证，以及通过高质量视频标题数据提升这些模型性能的实验。ShareGPT4Video-8B模型在多个多模态视频基准测试中展现了卓越的性能，特别是在需要复杂时间理解的基准测试上，如TempCompass。该项目的所有模型、策略和注释都将开源，旨在作为推动LVLMs和T2VMs社区进步的关键资源。
