OpenAI质疑SWE-Bench Pro：约30%评测任务存在缺陷

7月8日，OpenAI发布官方博文，对当前AI软件工程领域的权威评测基准SWE-Bench Pro提出质疑，指出该基准的731个公开测试任务中，约30%存在评测缺陷，已无法准确衡量大模型的真实软件开发能力。

SWE-Bench Pro由Scale AI推出，主要用于评测大语言模型与AI智能体的编程能力，因测试场景高度贴近实际企业级开发流程，且设置了极高的防作弊标准，推出后迅速成为AI软件工程领域公认的权威评测基准。

OpenAI在分析中指出，SWE-Bench Pro上线仅8个月，前沿大模型在该基准上的任务通过率就从最初的23.3%快速攀升至80.3%，分数的异常上涨也从侧面反映出基准本身的有效性存在问题。

为核验基准的有效性，OpenAI通过两条独立路径开展审查：通过自动化数据点分析流程，共标记出200个失效任务，占全部公开任务的27.4%；通过并行的人工标注核验，共识别出249个失效任务，占比34.1%。结合两组数据，OpenAI估算SWE-Bench Pro约30%的公开测试任务存在设计缺陷。

OpenAI将发现的评测缺陷划分为4个主要类别，其中不乏题干要求与隐藏测试标准不一致的低级错误——例如有题目要求将内容转换为Markdown格式时在行首加入1个空格，但后台隐藏测试用例却以行首2个空格作为正确判定标准，导致严格按照题干要求编写代码的模型会被误判为任务失败。

基于本次审查结论，OpenAI已正式撤回此前对SWE-Bench Pro的采用建议，同时提出，未来需要由资深一线软件开发者参与，专门针对AI能力特性设计更科学、严谨的全新评测基准，才能准确反映大模型的真实软件工程能力。

来源：IT之家