仓库级修复SWE-bench Verified:在真实 Python 开源仓库中定位并修复问题,以测试通过率计分;偏后端与工程场景。
仓库级修复排名33
第一梯队11 个模型与第 1 名在 95% 置信区间内无显著差异,名次先后不代表确定的强弱。
名次模型思考强度SWE-bench Verified· 95% 区间
01
思考强度:Max
Claude Opus 4.7
claude-opus-4-7_max
02
思考强度:XHigh
GPT 5.5 Pre Release
gpt-5.5-pre-release_xhigh
03
思考强度:High
Gemini 3.5 Flash
gemini-3.5-flash_high
04
思考强度:—
Claude Opus 4.6
claude-opus-4-6
05
思考强度:Max
GLM 5.2
glm-5.2_max
06
思考强度:Max
DeepSeek V4 Pro
deepseek-v4-pro_max
07
思考强度:—
Qwen 3.7 Max
qwen3.7-max
08
思考强度:High
GPT 5.4 (2026-03-05)
gpt-5.4-2026-03-05_high
09
思考强度:—
Qwen 3.6 Max Preview
qwen3.6-max-preview
09
思考强度:—
Kimi K2.6
kimi-k2.6
09
思考强度:—
Claude Opus 4.5 (20251101)
claude-opus-4-5-20251101
12
思考强度:—
Gemini 3.1 Pro Preview Customtools
gemini-3.1-pro-preview-customtools
13
思考强度:—
Gemini 3 Flash Preview
gemini-3-flash-preview
14
思考强度:—
Claude Sonnet 4.6
claude-sonnet-4-6
15
思考强度:High
GPT 5.3 Codex
gpt-5.3-codex_high
16
思考强度:—
GLM 5.1
glm-5.1
17
思考强度:High
GPT 5.2 (2025-12-11)
gpt-5.2-2025-12-11_high
17
思考强度:—
Kimi K2.5
kimi-k2.5
19
思考强度:High
GPT 5 (2025-08-07)
gpt-5-2025-08-07_high
20
思考强度:—
Claude Opus 4.1 (20250805)
claude-opus-4-1-20250805
待接入
有 7 天前的可比快照后显示周变化。