在 Claude Code 统一框架下，对比多个底层大模型（DeepSeek、Claude、GPT 等）的代码修复成功率。

考察各模型在中文软件工程任务中的语义理解、代码生成与修复质量，评估其对中文技术语境和文档的适应能力。

记录每个模型在 Claude Code 框架中的 token 消耗、调用费用、运行时长、交互轮数。

建立明确的量化判定标准，采用0-1 二元打分机制评估任务完成情况：任务达标赋值 1，未达标赋值 0。评价结果客观可横向对比，为模型迭代优化提供清晰指引。

> `blank_line_after_nested_stub_class`：如果上一行是函数 def，则失效>> 这是关于“blank_line_after_nested_stub_class”预览样式。如果类体以带省略号的函数定义结尾，则无法识别添加空行。>> 例如，前面代码添加到 `file.pyi` 存根文件中：>> ```python> class TopLevel:>     class Nested1:>         foo: int>         def bar(self): ...>         field = 1>>     class Nested2:>         def bar(self): ...>         foo: int>         field = 1> ```> 运行：>> ```bash> $ black file.pyi> ```>> 结果代码中，空行只添加在 `Nested2` 之后，而不是 `Nested1` 之后。>> **预期行为**>> 预计在 `Nested1` 和 `Nested2` 之后都添加空行。>> **附加上下文**>> 问题似乎是 `src/black/lines.py` 中第一个 `if` 条件，需要交换条件顺序。

你是一名经验丰富的软件工程师，任务是修复开源代码库中的 bug。你会收到一个问题描述，并可以访问完整代码库。你的工作是：1. 通过阅读相关文件理解问题2. 定位代码中的 bug3. 做出最小化、聚焦的修改来修复 bug4. 运行相关测试验证修复是否生效规则：- 只修改修复 bug 所必需的代码- 除非修复本身需要，否则不要重构、重新格式化或改变代码风格- 除非问题明确要求，否则不要修改测试文件- 不要添加新的依赖- 除非必要，否则不要修改配置文件（setup.py、pyproject.toml 等）- 修改完成后，代码应能通过相关测试- 如果你无法修复该问题，请停止并报告你的发现

请修复该代码库中的以下 bug。## 问题描述`blank_line_after_nested_stub_class`：如果上一行是函数 def，则失效[此处省略完整问题描述]## 修复步骤1. 首先阅读相关文件，理解问题（问题描述中会包含涉及哪些文件的线索）。2. 找到 bug 的精确位置。3. 只进行最小化的修复，不要引入无关改动。4. 修改完成后，运行相关测试以验证修复是否生效。5. 如果有 lint 或类型检查工具，也请运行，确保修改不会破坏任何检查。重要约束：- 只修复描述的 bug，不要重构或清理无关代码。- 除非问题明确要求，否则不要修改测试文件。- 不要添加新的依赖。- 保持修改最小化和聚焦。请逐步思考并执行。当你确认已经修复问题并通过了测试验证后，可以结束。

diff --git a/src/black/lines.py b/src/black/lines.pyindex b544c5e..9eb5785 100644--- a/src/black/lines.py+++ b/src/black/lines.py@@ -640,15 +640,15 @@ class EmptyLineTracker:         if previous_def is not None:             assert self.previous_line is not None             if self.mode.is_pyi:-                if depth and not current_line.is_def and self.previous_line.is_def:-                    # Empty lines between attributes and methods should be preserved.-                    before = 1 if user_had_newline else 0-                elif (+                if (                     Preview.blank_line_after_nested_stub_class in self.mode                     and previous_def.is_class                     and not previous_def.is_stub_class                 ):                     before = 1+                elif depth and not current_line.is_def and self.previous_line.is_def:+                    # Empty lines between attributes and methods should be preserved.+                    before = 1 if user_had_newline else 0                 elif depth:                     before = 0                 else:

"psf__black-4141": {            "status": "completed",            "FAIL_TO_PASS": {                "success": [                    "tests/test_format.py::test_simple_format[nested_stub]"                ],                "failure": []            },            "PASS_TO_PASS": {                "success": [                    "tests/test_format.py::test_simple_format[function]",                    "tests/test_format.py::test_simple_format[comments]",                    "tests/test_format.py::test_simple_format[class_blank_parentheses]"                ],                "failure": []            }        }