什么是MathVista

MathVista是一个综合性的数学推理基准测试，旨在评估大型语言模型（LLM）和多模态模型在视觉情境下的数学推理能力。该项目由加州大学洛杉矶分校（UCLA）、华盛顿大学和微软研究院联合开发，于2023年首次提出，并在2024年进行了进一步的研究和扩展。

数据集构成

MathVista包含6,141个示例，这些示例来源于31个现有的多模态数据集以及3个新创建的数据集（IQTest、FunctionQA和PaperQA）。这些数据集涵盖了多种数学推理类型和视觉背景，包括几何图、抽象场景、自然图像等。具体来说：

• IQTest：评估逻辑推理能力。
• FunctionQA：评估代数推理能力。
• PaperQA：评估科学推理能力。

任务类型

MathVista涵盖了七种主要的数学推理类型和五种主要任务类型：

1. 图问答（FQA） ：涉及几何图形的推理。
2. 几何问题解决（GPS） ：解决几何问题。
3. 数学文字问题（MWP） ：解答数学文字问题。
4. 教科书问题解答（TQA） ：解答教科书中的数学问题。
5. 视觉问题解答（VQA） ：解答与图像相关的数学问题。

特点与挑战

MathVista的独特之处在于其结合了多样化的数学任务和丰富的视觉元素，这使得它能够更全面地评估模型在复杂场景下的推理能力。例如，模型需要同时理解图像内容和数学表达式，才能正确回答问题。这种跨模态的复杂推理任务对当前最先进的基础模型（如GPT-4V）提出了极大的挑战。

实验结果

在MathVista的测试中，GPT-4V表现出色，准确率达到49.9%，显著高于第二名的Bard模型（15.1%）。然而，与人类基准相比，GPT-4V仍存在10.4%的差距，尤其是在处理复杂图形和严谨推理方面。

应用与意义

MathVista不仅为研究者提供了一个评估模型数学推理能力的工具，还推动了多模态学习在教育、科研和工业领域的应用。通过填补现有基准在数学推理文本评估中的不足，MathVista为开发能够处理数学密集型和视觉丰富现实世界的通用AI代理提供了重要支持。

总结

MathVista是一个开创性的基准测试，通过结合数学推理和视觉理解，为评估大型语言模型和多模态模型的能力提供了新的视角。它不仅揭示了当前模型在复杂推理任务中的不足，也为未来的研究方向指明了道路