SWE-Bench 是一种专门用于评估大型语言模型（LLMs）在软件工程领域解决实际问题能力的基准测试工具。它通过模拟现实世界中的 GitHub 问题，要求模型生成代码补丁以修复错误或实现功能，从而全面评估其在软件工程任务中的表现。
基本介绍
SWE-Bench 包含 2,294 个软件工程问题，这些问题来源于 GitHub 上的真实问题和拉取请求（Pull Requests），并覆盖了 12 个流行的 Python 仓库。每个问题实例都包含一个代码库和描述问题的文本，模型需要生成一个补丁来解决描述的问题。测试结果基于版本库的测试框架进行验证，以确保生成的补丁是否正确。
SWE-Bench 的核心目标是评估模型在解决复杂软件工程任务中的能力，包括代码生成、调试、理解代码交互以及处理多文件之间的依赖关系等。这些任务通常涉及多个功能、类甚至文件的协调，要求模型具备丰富的软件工程知识和技能。
数据集与构建过程
SWE-Bench 的数据集来源于 GitHub 上的真实问题和拉取请求，这些数据经过严格的筛选和处理。研究团队从 5000 多个 PyPI 库中选择了高质量的开源项目，并通过 GitHub 开发者 API 收集了相关问题。每个问题实例都经过人工注释，以确保其描述清晰且具有代表性。此外，SWE-Bench 还引入了动态评估机制，可以根据模型的表现实时调整测试难度，从而更准确地反映模型的实际水平。
为了提高测试的可靠性和一致性，SWE-Bench 使用 Docker 容器化环境进行评估，这使得测试过程更加标准化和可重复。
版本与改进
SWE-Bench 提供了多个版本以适应不同的研究需求：
- SWE-Bench Lite：包含 300 个实例，专注于功能级错误修复，覆盖 11 个仓库，是 SWE-Bench 的精简版。
- SWE-Bench Verified：这是 SWE-Bench 的改进版，通过人工验证过滤掉了有问题的样本（如过于具体的单元测试或模糊的问题描述），从而提供更高质量的评估数据集。该版本包含 500 个经过人工确认无误的任务，并使用容器化环境进行评估。
- SWE-Bench Multimodal：这是 SWE-Bench 的扩展版本，专注于视觉相关的软件工程任务，例如网页用户界面设计、数据可视化等。
评估方法与指标
SWE-Bench 的评估方法包括以下步骤：
- 问题实例构建：从 GitHub 拉取请求中提取问题实例，并确保每个实例包含有效的单元测试。
- 执行验证：在目标环境中运行模型生成的补丁，并通过测试框架验证其正确性。
- 性能评估：根据补丁是否通过所有测试用例以及运行时间等指标评估模型的表现。
评估结果通常以成功率百分比表示，例如解决任务的比例、平均耗时和平均处理的令牌数。
实际应用与挑战
SWE-Bench 在学术界和工业界引起了广泛关注，因为它为评估 AI 模型在真实世界软件工程任务中的能力提供了标准化的方法。然而，该基准测试也面临一些挑战：
- 复杂性：由于任务涉及多文件、多依赖关系和复杂的代码逻辑，模型需要具备较高的编程能力和上下文理解能力。
- 多样性：虽然 SWE-Bench 包含多个仓库和任务类型，但其覆盖范围仍有限，未来可能需要进一步扩展到其他编程语言和领域。
- 可靠性：原始版本中存在一些过于具体的单元测试或模糊的问题描述，导致部分模型得分过高或过低。因此，SWE-Bench Verified 的推出旨在提高评估的可靠性和稳健性。
总结
SWE-Bench 是一个全面且具有挑战性的基准测试工具，旨在评估大型语言模型在解决现实世界软件工程问题中的能力。通过模拟 GitHub 上的真实问题，它不仅考察了模型的基础编程能力，还要求其具备解决复杂软件工程任务所需的综合技能。随着 AI 技术的快速发展，SWE-Bench 将继续更新和完善，为研究人员和开发者提供有价值的参考。