MBPP（Mostly Basic Programming Problems）是一个由约1000个Python编程问题组成的基准测试数据集，主要设计用于评估大型语言模型（LLM）在从自然语言描述中生成代码的能力。这些编程问题通常由初级程序员解决，涵盖编程基础知识、标准库功能以及简单的算法和数学问题。
每个MBPP问题包含三个主要部分：任务描述、代码解决方案和三个自动化测试用例，用于验证生成代码的功能正确性。这些问题通过众包的方式收集，并且经过人工验证以确保其准确性。MBPP数据集旨在为代码生成模型提供一个标准化的评估基准，帮助研究人员和开发者改进代码生成工具的性能。
MBPP数据集的规模和设计使其成为评估LLM在编程任务中表现的重要工具，特别是在少样本学习（Few-shot Learning）场景下。例如，研究表明，使用MBPP数据集进行微调的模型在处理编程任务时表现优异。
声明：文章来源于网络，如有侵权请联系删除！