ARTICLE · 1313759
软件工程论文速递 | 26.11.04 日报: 24篇新论文速递
目录
存储系统与机密计算
• eBPF-Driven Adaptive Lifetime-Aware Data Placement for Shared FDP SSDs • File-Semantic SSD for I/O-centric Architectures with NFS-over-NVMe Protocol • Enforcing Accountable Disclosure in Confidential AI
程序语言、编译与计算理论
• Verified Implementation of the Next-gen Borrow Checking Algorithm for Rust via Abstract Interpretation • An Engineering Reading of the Bounded Halting Problem and Observable Properties of a Universal Machine • TauLang: A Language and Compiler for Space-Time Programming on Statically Scheduled Accelerators
漏洞检测与安全代码分析
• Reassessing Dataset Quality and Fine-Tuning Practices for Vulnerability Detection on PrimeVul dataset • A.S.E 2.0: Understanding How Repository Context Impacts the Security of LLM-Generated Code • Analysis of Local Open-Weight LLM Agents on Vulnerability-Reproduction Tasks • SBVUL: Statement-Based Vulnerability Detection • A Hybrid Approach for Automated Security Pattern Recovery
代码生成、模型适配与程序修复
• Keeping Fuzzers on Duty: Repairing Fuzzing Build Breakages in Continuous Open-Source Fuzzing • EvoCodeAgent: Project-Level Code Generation via Architecture-Code Co-Evolution and Experience-Guided Repair • CLEAR: Structured Specifications for Controllable Long-Horizon ML Research Engineering • Reasoning-Trace Overflow in Code Generation: An Empirical Study of Explicit Reasoning Models • SynMOE: A Syntax-Aware MOE-Guided Approach for PEFT-Based Code Intelligence Learning • Retrieval Supersedes Scale: Efficient Log Level Prediction via Multiplex Socio-Technical Context • DARE: Difficulty Analysis for Repair Enhancement
自动驾驶评测与运行时安全
• Beyond Infraction Scores: Failure-Boundary Profiles for Closed-Loop Evaluation of Driving and Robot Navigation Agents • Bug2Scenario: Root-Cause-Preserving Test Scenario Amplification for Autonomous Driving Software • CoSafe: Cooperative Runtime Safety Assurance for Mixed-Traffic Autonomous Driving
软件运维与交互测试
• SWEOps-Bench: Evaluating Agents for End-to-End Resolution of Software-Induced Cloud Incidents • When Does a Cross-Device Run Justify PASS? Obligation-Level Evidence Qualification under Partial Observability • Can LLM Agents Learn to Test? Maintaining Scoped Experience as Testing Evidence for Mobile GUI Testing
研究方向:存储系统与机密计算
eBPF-Driven Adaptive Lifetime-Aware Data Placement for Shared FDP SSDs
• 作者:Hajin Moon, Taewan Noh, Chaeeun Yoon, Jeonghun Lee, Junyoung Han, Joo-Young Hwang, Youngjae Kim • arXiv URL:https://arxiv.org/abs/2611.06461v1
Abstract
NVMe 灵活数据放置(FDP)通过分离具有不同生命周期的数据,尽量减少垃圾回收(GC)中的复制,从而降低 SSD 写放大。然而,在共享服务器上,多个租户产生的生命周期类别数量超过了可用的放置句柄数量。现有方法依赖静态映射或特定应用的知识,无法捕捉运行时生命周期,也无法适应变化的工作负载。挑战在于识别哪些数据会一起失效,并在句柄预算有限的情况下确定应分离哪些类别,以最大程度减少 GC 开销。我们提出 eFDP,这是一个基于 eBPF 的系统,可在标准 Linux 内核上为未经修改的应用自动学习数据生命周期并管理 FDP 放置。通过追踪写入与失效,eFDP 识别生命周期类别,并估算将其分离能够节省的 GC 复制量。它首先为每个租户分配一个句柄,再将剩余句柄分配给节省量最大的分离方案。活跃租户发生变化时,它还会重新规划放置。在模拟 FDP SSD 上运行四个数据库租户时,eFDP 消除的额外写放大量是租户级隔离的两倍,并使每个执行写入的租户吞吐量提升 19–23%。在企业级 FDP SSD 上,给定 RocksDB 的层级信息,它仅用三个句柄便达到使用五个句柄的人工优化放置效果。租户切换后,eFDP 在七分钟内完成重新规划,即使一小时后,其写放大仍比原始布局低 25%。
File-Semantic SSD for I/O-centric Architectures with NFS-over-NVMe Protocol
• 作者:Kyu-Jin Cho, Injae Kang, Keunsan Park, Jaehoon Shim, Munsung Bae, Jiho Jeon, Eyee Hyun Nam, Jin-Soo Kim • arXiv URL:https://arxiv.org/abs/2611.06071v1
Abstract
新兴的以 I/O 为中心的架构使外围设备能够绕过主机 CPU 和内核,直接访问存储。然而,SSD 仅暴露块接口,并依赖主机文件系统提供文件元数据和访问控制,使应用和外围设备在以 I/O 为中心的架构中进行文件级访问本身就很困难。主机文件系统与存储设备之间的这种紧密耦合带来不可避免的软件开销,并限制完全无需主机参与的 I/O 路径的潜力。本文提出文件语义 SSD(FS-SSD),一种在 SSD 内提供原生文件抽象的新型 SSD 架构,使外围和远程设备无需主机干预即可直接访问文件。FS-SSD 采用轻量级、无状态的 NFS 接口,并引入 NFS-over-NVMe 协议扩展,将 NFS 操作嵌入标准 NVMe 命令结构。这使 FS-SSD 能够通过现有 PCIe 和 NVMe-oF 传输支持本地及远程文件 I/O。评估表明,FS-SSD 能够在以 I/O 为中心的架构中提供设备端文件抽象,同时充分利用裸设备带宽。
Enforcing Accountable Disclosure in Confidential AI
• 作者:Shumpei Shiina, Haruka Takahashi, Kento Sasaki, Takuya Hayashi, Tsubasa Takahashi • arXiv URL:https://arxiv.org/abs/2611.05971v1
Abstract
CPU 和 GPU 机密计算的进展使机密 AI 成为可能,让 LLM 能够处理用户提示,而无需将其暴露给服务提供商或基础设施运营者。然而,AI 智能体经常需要向外部服务发送由提示派生的信息,提供商也可能为安全监测和故障诊断而需要有限披露。我们提出 CORDE,一个面向机密虚拟机(CVM)的系统,旨在满足“限制或声明”(Confine or Declare)原则:默认将用户派生数据限制在内部;必要时,数据只有在经过“声明”后才能离开 CVM。对数据进行“声明”,就是将其确切内容、接收方和所陈述的理由,记录在用户可访问、可显露篡改的声明日志中。为落实这一原则,我们提出集成式系统设计,将 Rust 中按用户实施的信息流控制与基于可信执行环境(TEE)的账本和远程证明结合。在 NVIDIA H100 GPU 上的评估表明,先声明后披露给任务时延增加的开销很小,在 AppWorld 智能体基准上约为 0.5%。CORDE 为可问责的用户数据披露提供基础,支持 AI 服务中负责任且透明的数据管理。
研究方向:程序语言、编译与计算理论
Verified Implementation of the Next-gen Borrow Checking Algorithm for Rust via Abstract Interpretation
• 作者:Jinhua Wu, Yuting Wang, Zhemin Chen • arXiv URL:https://arxiv.org/abs/2611.06319v1
Abstract
借用检查是 Rust 确保时间内存安全的核心机制。其正确性基于如下直觉:别名与可变性互斥(Aliasing XOR Mutability)约束保证,没有借用错误的程序本质上不可能访问无效引用(即指针)。然而,现有借用检查形式化工作,要么将其视为类型系统的组成部分,要么将其视为描述资源转移的符号执行。它们均未直接解释官方 Rust 编译器中非词法生命周期(NLL)或 Polonius 等借用检查算法的正确性,而这些算法的运作方式更接近静态指针分析。我们迈出解决这一问题的第一步,在 Rust 的一个核心子集上形式化 Rust 编译器的下一代借用检查算法 Polonius。我们证明,任何被 Polonius 接受的程序在运行时都不会访问无效引用,以此证明其正确性。关键观察是,当借用检查以惰性方式执行时,Polonius 可以被视为在记录指针别名(借用)关系的抽象域上进行的前向抽象解释。通过提供正式描述别名与可变性互斥约束的具体语义,我们证明该抽象解释的可靠性,并由此推导受检查程序的内存安全性。这一 Polonius 表述已在 CompCert 的抽象解释框架中实现并完成形式化验证。正确性证明由智能体式 AI 在人类指导下,以纸面证明为证明提纲生成。据我们所知,这是首次对 Rust 编译器实际采用的借用检查算法进行全面形式化与验证。
An Engineering Reading of the Bounded Halting Problem and Observable Properties of a Universal Machine
• 作者:Sergey Salishev • arXiv URL:https://arxiv.org/abs/2611.06303v1
Abstract
停机问题询问在资源不受限制时,程序最终是否会停机。工程系统则认证有界停机:给定程序、输入和步数预算 T,判断程序是否在 T 步内停机。本文研究它的两种用途。首先,定义一个精确的有限预算问题,将被模拟程序与检查器置于相同的单位成本时间尺度,使检查器能够嵌入对抗性程序。带有显式加性开销的对角论证表明,对于足够大的 T,不存在固定的确定性检查器,能够在任意固定且小于一的 T 比例时间内判定所有实例。在非确定性情形下,T 限定了为获得稳定可观测判定所允许的分支深度。其次,有界停机实例为有限计算意义上的通用性提供对抗测试,因为当 T 增长时,通用模型必须支持任意有限计算。这些测试检查资源随 T 的增长、是否不存在固定的思考上限,以及之后能否访问中间数据。它们区分三种情形:具有可扩展外部资源的固定模型、随 T 增长的模型族,以及围绕固定组件构建的更大系统。对于机器学习系统,这揭示了通用性主张所假设的资源增长,以及这一主张是否在已部署模型上失效。
TauLang: A Language and Compiler for Space-Time Programming on Statically Scheduled Accelerators
• 作者:Xuxiao Yang, Junchi Wu, Feiyang Wu, Zhuoran Li, Shuo Tao, Dongyi Fan, Yiming Zhang, Keqin Luo, Xingrui Gao, Xuehai Qian, Youwei Zhuo • arXiv URL:https://arxiv.org/abs/2611.06079v1
Abstract
Groq 的张量流处理器(TSP)等静态调度加速器,通过去除芯片中的动态同步硬件,实现低时延大语言模型推理。由于没有缓存、仲裁器或硬件调度器,编译器必须确定每项操作的精确切片位置和发射周期,因此操作何时运行成为正确性的条件。现有内核语言无法以这类机器为目标,因为它们依赖硬件处理周期时序,而将调度隐含编码在代码结构中。我们提出 TauLang,一种将时间作为程序一等元素的内核语言和编译器。程序员使用参数化的显式时间调度操作、循环及组合内核,因此探索调度方案只需改变参数值,无需重写代码。TauLang 在其带时间的中间表示 TauIR 中,以代数方式验证显式时间。随后,它通过整数线性规划联合求解张量放置与周期调度,利用显式时间将相连操作划为时序簇,以裁剪搜索空间。在类 TSP 机器的周期精确模型上,相较于先确定空间布局的流程,联合搜索在十个内核上实现了 的时延加速。少量显式时间锚点使时延与不指定时间的调度之差保持在一个周期以内,并将联合搜索扩展到 1,636 个 GEMM 块,而不指定时间的搜索在 32 个块时就无法找到调度。
研究方向:漏洞检测与安全代码分析
Reassessing Dataset Quality and Fine-Tuning Practices for Vulnerability Detection on PrimeVul dataset
• 作者:Norbert Sándor Szolnoki, Gábor Antal • arXiv URL:https://arxiv.org/abs/2611.06373v1
Abstract
近期研究报告,在 PrimeVul 等基准上对预训练代码语言模型进行监督微调,用于自动漏洞检测,取得了令人期待的结果。本文在这一背景下对模型性能和数据集质量开展大规模实证评估。我们系统地对三个广泛使用的编码器模型(CodeBERT、GraphCodeBERT 和 UniXCoder)进行微调,涵盖五种类别不平衡缓解策略、大范围超参数扫描及多个随机种子,共进行 770 次独立训练。结果揭示了一致的模式。虽然 F1 和 ROC-AUC 等标准指标偶尔显示改善,但安全关键指标和考虑校准的度量呈现了不同情况:Matthews 相关系数始终接近零,预测概率校准不佳,而在严格假阳性约束下的评估显示出高假阴性率。无论是不平衡处理、阈值优化还是事后校准,都未能恢复有意义的判别信号。我们还对 PrimeVul 基准进行数据质量评估,发现易受攻击函数与修复后函数之间语义差异极小,以及提交级标签引入标注噪声等结构性问题。这些发现表明,使用我们采用的方法时,当前形式的 PrimeVul 数据集给软件工程中可靠的 AI 漏洞检测带来了显著挑战。本研究强调,需要更稳健的数据集设计、改进的评估协议,以及对安全关键任务微调实践的重新思考。
A.S.E 2.0: Understanding How Repository Context Impacts the Security of LLM-Generated Code
• 作者:Jiongchi Yu, Keke Lian, Junqing Wang, Zhikang Fan, Zhaoxuan Li, Yongheng Huang, Ziming Zhao, Dong Zhang • arXiv URL:https://arxiv.org/abs/2611.06294v1
Abstract
大语言模型(LLM)编码助手和智能体在生成代码之前会构建仓库上下文。对于安全敏感代码,这些上下文决定模型看到的是项目的防护措施(例如授权检查),还是可供模仿的不安全代码。然而,上下文构建几乎完全围绕功能正确性设计,而安全代码基准将上下文视为固定,因此仓库上下文如何影响生成代码的安全性仍不明确。我们构建 CASE-Bench,这是一个包含来自 51 个项目真实 CVE 的 145 项仓库级任务的基准。每项任务都在 Docker 中运行,具有功能测试和经过双向验证的概念验证利用程序,并标注仓库中保障或破坏其安全性的代码。使用 CASE-Bench,我们在六个 LLM 上比较 13 种上下文构建方法和六种对照,编辑单个上下文元素,并分析编码智能体轨迹。我们发现:(1)面向功能的上下文使功能通过率最高提高 8.2 个百分点(pp),但安全通过率最多提高 3.7 个百分点;(2)不提供某项防护措施会使安全通过率最高下降 8.1 个百分点,而插入一个不安全示例会使功能正确但可被利用的代码比例提高 6.3 个百分点;(3)编码智能体仅在 27–36% 的轨迹中观察到相关防护措施。这些发现为具备安全意识的上下文构建与安全代码评估提供依据。
Analysis of Local Open-Weight LLM Agents on Vulnerability-Reproduction Tasks
• 作者:Jorge García-Carrasco, Javier Sanchis, Álvaro Navarro, Alejandro Maté, Juan Trujillo • arXiv URL:https://arxiv.org/abs/2611.06257v1
Abstract
能够装入单张消费级 GPU 的开放权重语言模型,正在越来越多的任务上展现能力;它们的重要性在于可以本地运行,无需将代码发送到托管服务。漏洞复现,即将漏洞描述转化为使存在漏洞的构建崩溃的输入,是这类模型的自然应用目标,因为它是更接近测试生成而非代码理解的自动分析任务,并且针对的是必须执行而非仅供阅读的构建。为评估当前模型能否完成该任务,我们在十项 CyberGym 漏洞复现任务上评估十二种本地模型配置,覆盖三代模型、两种架构和三种量化级别;每种配置在同一测试框架下运行三次,并发布完整工件。我们表明,每种配置,包括最小的 4B 模型,都能解决六个较简单任务中的大多数,只有余下四个任务能区分配置表现。对于更困难的任务,需要 27B 模型。任何匹配对中的量化都未改变模型能够解决哪些任务,但改变了达到结果的速度,而混合专家模型以更少的实际耗时达到相同分数。我们还考察智能体轨迹。我们检查的几乎每次运行,包括失败运行,都指出了存在漏洞的函数并提出正确假设;决定任务能否解决的,是该假设能否转化为有效输入。
SBVUL: Statement-Based Vulnerability Detection
• 作者:Martin Pinzger, Katharina Stengg, Christian Macho, Stefan Schöberl, Víctor Mayoral Vilches • arXiv URL:https://arxiv.org/abs/2611.06135v1
Abstract
近期许多漏洞检测方法使用大语言模型(LLM)将函数分类为存在漏洞或良性,将可被利用语句的定位工作留给开发者。此外,尽管这些方法的性能已有改善,但在区分真实世界中存在漏洞的函数和修补后的函数时仍然不足。本文提出 SBVul,一种检测 C/C++ 函数中可被利用语句的智能体方法。在阶段 1,LLM 智能体探索函数及其仓库,识别候选语句。在阶段 2,第二个智能体分析每个候选语句的控制流和数据流,并确认、排除或将其标记为不确定。我们为 PrimeVul Paired 测试集中的 200 对函数创建了经人工验证的可被利用语句真值,并使用开放权重模型 Qwen 3.8、DeepSeek V4.1 Flash,以及 Anthropic 的 Sonnet 5.5 和 Opus 5.5 运行 SBVul。阶段 1 在 56–77% 的存在漏洞函数中识别出真值语句,阶段 2 在 26–73% 的存在漏洞函数中确认此类语句,并给出被 LLM 评审接受的解释。然而,所有模型也都在 23–61% 的已修补函数中确认了候选语句。在存在漏洞和已修补函数总体上,最高语句级精确率为 0.315,对应召回率为 0.605,由 Opus 5.5(xhigh)取得。在函数级,使用 Opus 5.5 的 SBVul 正确分类了 42.0% 的函数对,而先前最佳方法报告的比例为 33.8%。
A Hybrid Approach for Automated Security Pattern Recovery
• 作者:Anh Minh Nguyen, Tuan Dat Tran, Alzubair Hassan, Liliana Pasquale • arXiv URL:https://arxiv.org/abs/2611.05823v1
Abstract
安全设计强调将安全融入软件设计和开发。安全模式目录通过为反复出现的安全问题规定可复用的架构解决方案,将这一原则具体化。然而,从源代码中恢复其实现仍然困难,因为安全模式具有抽象性、跨越多个组件,并允许多种有效实现。我们提出 SecPatRec,一种从源码仓库自动恢复安全模式的混合方法。我们将安全模式视为参考架构,并将其恢复表述为演绎任务:确定哪些规定角色存在,将其落实到代码实体,并恢复其交互序列。SecPatRec 将配备语义与词法代码搜索、用于角色检测和落实的 ReAct 风格 LLM 智能体,与用于交互恢复的静态代码属性图分析结合。我们整理了经人工验证的真值数据集,包含来自 93 个开源 Java 和 Python 仓库、覆盖五种安全模式的 100 个模式实例,并引入三级评估框架,针对这些真值测量恢复正确性。我们使用包括专有和开源模型在内的四个 LLM 评估 SecPatRec。在全部模型和模式实例上取平均,SecPatRec 的角色检测准确率为 0.84,角色落实相似度为 0.84,交互恢复得分为 0.66。与单次端到端 LLM 基线相比,SecPatRec 的综合恢复分数更高、每次运行的估计 LLM API 成本更低,同时能够处理超过该基线配置输入上限的仓库。恢复出的角色映射和静态推导的交互序列,提供了可支持检查安全模式实现的结构及行为证据。
研究方向:代码生成、模型适配与程序修复
Keeping Fuzzers on Duty: Repairing Fuzzing Build Breakages in Continuous Open-Source Fuzzing
• 作者:Zhuang Zhao, Jiongchi Yu, Yao Zhang, Dongge Liu, Qiang Hu, Xiaohong Li, Yang Liu • arXiv URL:https://arxiv.org/abs/2611.06358v1
Abstract
OSS-Fuzz 等持续模糊测试平台为开源项目提供持续安全测试,但长期构建中断会降低安全覆盖率并浪费基础设施资源。在 OSS-Fuzz 中,约 20% 的已集成项目持续处于构建失败状态,致使其模糊测试器无法工作。这些故障暴露了平台维护者与项目维护者之间的维护缺口:前者缺少项目特定上下文,后者则往往缺乏模糊测试和基础设施方面的专业知识。现有程序修复技术无法直接应用,因为模糊测试构建中断涉及持续演变的项目及基础设施工件,并需要反复开展考虑基础设施的诊断。我们提出用于修复模糊测试构建的自动化智能体 FuzzMedic。FuzzMedic 跨项目和模糊测试基础设施工件进行证据引导的诊断。它在记录工作区演变及构建反馈的修复状态图(RSG)上探索修复。分支和回滚使 FuzzMedic 能够在长程调试中从无效修复路径恢复。候选补丁经过验证,确保恢复可执行的模糊测试目标,而非仅仅压制构建失败。我们在从 1,820 个真实故障中提取的 128 个可复现 OSS-Fuzz 构建故障上评估 FuzzMedic。其修复率达到 48.44%,优于三个有代表性的程序修复基线。在实际使用中,它生成的 29 个补丁被合并至上游或 OSS-Fuzz 主分支,其中包括三个超过一年未解决的故障,以及两个从未成功构建的案例。
EvoCodeAgent: Project-Level Code Generation via Architecture-Code Co-Evolution and Experience-Guided Repair
• 作者:Qianhui Zhao, Li Zhang, Fang Liu • arXiv URL:https://arxiv.org/abs/2611.06328v1
Abstract
项目级代码生成旨在根据高层需求自动合成完整软件仓库,产出模块结构良好、跨文件依赖一致且整体协调的多文件系统。尽管大语言模型(LLM)在规格理解和代码合成方面能力很强,现有方法仍存在若干关键局限。首先,许多方法依赖静态架构设计,无法在迭代生成过程中适应变化,导致架构与实现之间的偏离不断增大。其次,它们缺乏跨迭代积累和复用经验的机制,造成错误反复出现及效率下降。第三,它们往往依赖独立的基于 LLM 的中间工件评估,这类评估透明度有限,在长上下文推理时还可能不可靠。为应对这些挑战,我们提出 EvoCodeAgent,一个以状态为中心的项目级代码生成框架。EvoCodeAgent 维护从结构化项目规格初始化的演化架构状态,并持续协调架构与代码骨架预测的关系和从生成代码提取的实际关系。它进一步利用以工具为依据的验证证据支持可靠的状态更新,并从此前的修订尝试中抽象可复用的修复经验,指导后续生成。在包括 DevBench 和 CodeProjectEval 在内的不同规模项目级基准上的大量实验表明,EvoCodeAgent 持续优于基线方法。在 GPT-5 设置下,其单元测试通过率分别达到 60.48% 和 27.73%,相对最强基线的提升最高达 53.5%。
CLEAR: Structured Specifications for Controllable Long-Horizon ML Research Engineering
• 作者:Xin Liu, Hongru Song, Ruqing Zhang, Jiafeng Guo, Xueqi Cheng • arXiv URL:https://arxiv.org/abs/2611.06263v1
Abstract
大语言模型(LLM)智能体日益被用于自动化机器学习(ML)研究工作流,涵盖代码开发、实验执行、研究复现和科学发现。近期系统表明,LLM 可以在有限的人类干预下完成 ML 研究工程的相当一部分工作。这些进展意味着,自动化正在从单个研究任务转向将研究工件转化为可执行 ML 系统的长程工作流。然而,ML 研究工程仍远比孤立的代码生成困难。研究工件通常通过自然语言描述、方程、伪代码、实现细节、数据集和评估协议的混合,仅隐含地规定一个系统。智能体必须先推断预期的计算结构,将其转化为可执行组件,协调组件依赖,并在执行过程中反复诊断和修复故障。因此,最终系统的质量不仅取决于代码生成,还取决于智能体能否在整个长程过程中持续维护对所需实现内容的一致表示。
Reasoning-Trace Overflow in Code Generation: An Empirical Study of Explicit Reasoning Models
• 作者:Lukas Twist, Helen Yannakoudakis, Jie M. Zhang • arXiv URL:https://arxiv.org/abs/2611.06095v1
Abstract
显式推理可以帮助语言模型生成代码,但也带来实际风险:模型可能将过多输出预算用于推理,最终无法产出可用代码。我们研究相对较小的开放权重推理模型中的这一行为,将其称为推理轨迹溢出。在七个模型和六种代码基准设置上,我们测量固定的 32k-token 输出预算中有多少用于推理、这些推理是否改善 pass@1,以及轻量级推理时控制能否缓解溢出。结果表明,推理的价值高度依赖条件。溢出在较简单的函数级任务中很少发生,但在更困难的代码生成基准以及特定模型家族中很常见:在若干模型与基准组合上,超过一半的生成在耗尽全部 32k-token 预算时仍在推理。大多数完全溢出与重复推理循环相关,但大量长推理也会在没有循环的情况下发生。因此,对容易溢出的模型,禁用推理可能具有竞争力,原因只是它能确保生成答案。与此同时,对更强的模型,推理在更困难的算法和代码理解任务上仍有价值。最后,提示引导可以显著减少某些模型的溢出,但效果不一致;基于预算的转换提供更直接的控制,并可同时改善容易溢出模型的性能和 token 效率。这些发现表明,应将显式推理视为代码生成中可控制的资源,而非始终开启的能力。
SynMOE: A Syntax-Aware MOE-Guided Approach for PEFT-Based Code Intelligence Learning
• 作者:Shuo Liu, Hao Ning, Jacky Keung, Zhen Yang, Xiao Yu, Xing Hu, Yicheng Sun • arXiv URL:https://arxiv.org/abs/2611.06069v1
Abstract
参数高效微调(PEFT)已成为将语言模型(LM)适配至下游任务的重要方法。然而,在代码智能领域,大多数 PEFT 方法相较全量微调(FT)性能有所下降,阻碍其更广泛应用。主要原因之一是,当前 PEFT 方法通常基于参数更新的低秩性或稀疏性假设,缺乏对代码相关信息的显式建模。为解决这一局限,我们提出 SynMOE,一种用于代码智能学习中 PEFT 的语法感知混合专家(MOE)引导方法。具体而言,SynMOE 包含语法信息提取和语法感知 MOE 引导适配两个阶段。它首先从抽象语法树(AST)获取源代码的语法标签,再将标签与代码 LM 的输入 token 对齐。在第二阶段,语法标签被集成进 MOE 模块,参与 MOE 路由决策,从而形成更强的语法感知 token 表示。我们在三种不同的代码智能任务上,将该方法应用于 LoRA 和 两种典型 PEFT 方法,以评估其有效性。实验结果表明,SynMOE 取得了一致且显著的提升。即使与 FT 相比,SynMOE 也能在计算效率更高的同时,取得相当或更优的性能。此外,我们还开展消融研究、超参数分析及低资源场景评估,全面考察所提方法。
Retrieval Supersedes Scale: Efficient Log Level Prediction via Multiplex Socio-Technical Context
• 作者:Youssef Esseddiq Ouatiti, Mohammed Sayagh, Bram Adams, Ahmed E. Hassan • arXiv URL:https://arxiv.org/abs/2611.05901v1
Abstract
开发者在源代码中插入日志语句以记录执行情况,产生的日志对于检测和排查系统异常至关重要。这些语句的关键组成是日志级别,例如 DEBUG、INFO、WARN、ERROR,它决定消息是否被记录。选择日志级别是一种权衡:级别设得过低会掩盖生产环境中的重要信息,设得过高则会产生嘈杂日志以及额外 I/O 和存储开销。近期工作使用结合上下文学习(ICL)的大语言模型(LLM)预测日志级别,但通常用随机抽样的示例扩充提示。我们认为,这忽视了日志记录的社会技术属性,即惯例随组件和开发团队而变化。据报告,使用随机示例的现成 LLM 的 AUC 中位数仅为 0.56–0.76,因此无需微调仍有改进空间。本文提出一种用于 LLM 日志级别预测的检索方法,相比随机选择和基础相似度,更优先考虑上下文相关性。该方法沿两个社会技术维度检索相关日志示例:(i)功能,即执行相似操作的代码;(ii)所有权,即由相同开发者维护的代码。在十个流行 Java 项目上评估四个 LLM 后,我们发现这种检索相对随机基线的 AUC 提升中位数为 0.07,结合两种信号后,AUC 中位数达到 0.83–0.97。消融研究表明,每种信号都优于随机检索,且在全部十个项目上,两者结合均优于其中较强的单一信号。结果还显著超过最先进的监督预测器,例如 DeepLV,AUC 提升中位数为 0.12–0.19。这些发现突出表明,代码功能及所有权等社会技术信号对 LLM 日志级别预测非常重要。
DARE: Difficulty Analysis for Repair Enhancement
• 作者:Jikwang Lee, Seungwook Jung, Jaechang Nam • arXiv URL:https://arxiv.org/abs/2611.05797v1
Abstract
基于 LLM 的编码智能体主要通过任务解决率评估。然而,这一指标既无法揭示已解决任务有多困难,也未考虑不同基准间任务难度的差异。通过反复运行多个智能体来确定单个任务的难度,成本很高;而单独的预测难度分数又很难指导智能体需要何种支持。为应对这些挑战,我们提出 DARE(用于增强修复的难度分析),整合修复任务难度测量、预测、特征组贡献分析,以及任务特定的修复支持。我们将连续任务难度定义为多个编码智能体上观测到的失败率。DARE 难度模型使用从基准工件提取的 151 个静态特征预测该难度。框架还分析七个修复任务特征组的贡献,以识别对每项任务最突出的特征,并据此选择任务特定的智能体支持。我们在四个基准分区、共 2,594 项任务上评估 DARE。难度模型经对齐的预测在留出分区上取得 Spearman 相关系数 = .476–.621,而最突出的特征组随任务和基准而变化。此外,编码智能体实验表明,当支持与各任务的突出特征组匹配时,修复成功率会提升。这些发现表明,难度预测与解释可带来自动程序修复(APR)的实际改进,同时为按难度分层的智能体评估、跨基准比较,以及识别仍需进一步提升的修复能力领域提供基础。
研究方向:自动驾驶评测与运行时安全
Beyond Infraction Scores: Failure-Boundary Profiles for Closed-Loop Evaluation of Driving and Robot Navigation Agents
• 作者:Milan Bulat, Gino Ardelean, Ellington Kirby • arXiv URL:https://arxiv.org/abs/2611.06453v1
Abstract
CARLA 中的闭环驾驶基准使用路线完成度与违规惩罚相乘得到的驾驶分数对智能体排名。该分数无法区分在障碍物前停车的智能体和强行穿过的智能体。例如,在被两辆停放车辆封堵的走廊中,一个发生接触仍驶过的智能体在封堵宽度条件下的平均得分为 52.2,而停车智能体的平均得分介于 37.8 和 40.6 之间。我们提出失效边界剖面:在这种评测中,每个场景族改变一个可测量因素,例如走廊宽度或对向交通的时间间隙,并根据测量确认每个变体是智能体应当通行还是应当停车的情形。沿这一轴,我们为每个智能体估计两条曲线:行动意愿(尝试通行的概率)和能力(无接触通过的概率),并定位各自越过二分之一的位置,同时给出考虑模拟器各次运行间方差的区间。这些经确认的标签还提供了汇总指标——决策准确率:在可通行变体中无接触通过、在封堵变体中停车均可获得认可。我们在七个 CARLA 场景族上评估七个驾驶智能体。基于规则的专家达到 0.74 的决策准确率,得分最高的学习型智能体 TFv6 为 0.60。驾驶分数相近的智能体会以不同方式失败,而能够可靠地在封堵走廊前停车的智能体,仍很少等待对向交通中出现通行间隙。我们还将该方法不加修改地应用于 Isaac Sim 中的仓库机器人。被测试的导航策略仅在三个场景族中的一个会在封堵间隙前停车;它的两个微调版本能够无接触地通过更多间隙,却完全不再停车。
Bug2Scenario: Root-Cause-Preserving Test Scenario Amplification for Autonomous Driving Software
• 作者:Yuchen Cao, Zhenyu Mao, Jacky Wai Keung, Yifei Wang, Yihan Liao, Jingyu Zhang • arXiv URL:https://arxiv.org/abs/2611.06229v1
Abstract
基于模拟的模糊测试通过反复变异和执行场景暴露自动驾驶系统(ADS)的故障,但将一次故障转化为可复用的回归场景仍很困难。这些变体测试软件变更后原有机制是否仍然存在,例如在保留碰撞中的参与者与路线冲突的同时,改变天气或参与者位置。我们提出由根因引导的模糊测试后处理框架 Bug2Scenario。它从场景数据、轨迹及判定器证据中提取根因模式。LLM 提出涉及参与者、任务、路线和天气的语义变体。确定性规则构造兼容 DriveFuzz 的场景。执行证据和人工审查评估根因保留情况。将这些职责分开,可防止把语言流畅性、语法或反复出现的标签误当作因果证据。在种子、六种 LLM 主干、候选预算和执行流水线相匹配的条件下,Bug2Scenario 将严格保留率提高 6.7 个百分点(p=0.104;不显著),将包含边界情况的保留率提高 10.6 个百分点(p=0.011)。反馈帮助一些最初未成功的种子产生严格保留根因的候选场景。随后,种子级停止机制避免继续调用 API 和运行模拟器。剩余失败反映了参与者放置约束、模拟器不稳定,以及因果证据不完整或相互冲突。因此,Bug2Scenario 能够产出可靠的 ADS 回归测试资产。实现位于 https://github.com/YgcCoder/Bug2Sce。
CoSafe: Cooperative Runtime Safety Assurance for Mixed-Traffic Autonomous Driving
• 作者:Dingji Wang, You Lu, Haowen Jiang, Yanggang Chen, Yuyang Bi, Bihuan Chen, Shenglin Bao, Xin Peng • arXiv URL:https://arxiv.org/abs/2611.06204v1
Abstract
随着自动驾驶系统(ADS)的快速发展,现实道路正演变为混合交通环境,自动驾驶车辆(AV)与其他交通参与者,例如人类驾驶车辆(HDV)、骑行者和行人,共存并相互交互。然而,当前 ADS 在混合交通场景中仍会发生各种安全违规,因此迫切需要能够持续监测危险并防止潜在违规的运行时安全保障框架。现有以自车为中心的保障方法不足以应对混合交通,因为违规往往源于多辆车局部合理、但共同执行时互不兼容的决策,无法通过各自独立接管可靠解决。为弥补这一缺口,我们提出 CoSafe,一个模块化且不依赖特定 ADS 的混合交通自动驾驶协同运行时安全保障框架,将运行时安全保障从以自车为中心的接管扩展为场景级协同干预。CoSafe 利用车联网(V2X)通信,使路侧单元(RSU)能够监测场景级危险,并联合缓解涉及多辆车的危险。我们将 CoSafe 与七个最先进的 ADS 集成,在 InterDrive 基准上的评估表明,CoSafe 平均提升 AV 驾驶分数 70.03%,减少安全违规 87.80%,以 0.930 的 F3 分数准确识别不安全 AV,同时满足实时性约束。
研究方向:软件运维与交互测试
SWEOps-Bench: Evaluating Agents for End-to-End Resolution of Software-Induced Cloud Incidents
• 作者:Danwen Chen, Guangba Yu, Pengfei Chen • arXiv URL:https://arxiv.org/abs/2611.06099v1
Abstract
随着自主智能体发展,软件开发与云运维之间的传统边界逐渐模糊,对集成式事件检测、定位和修复的需求日益增加。现有基准评估孤立的诊断查询或仓库级程序修复,未能测试跨运行集群和源码仓库的连续事件解决过程。我们提出 SWEOps-Bench,一个交互式基准,包含源自 16 个 Kubernetes operator 项目中已确认历史缺陷的 55 项可复现事件任务。每项任务保留原始软件仓库,从健康集群初始化,再由受控工作负载触发历史故障。智能体通过终端界面调查运行时证据并提交源码或配置修复,测试框架在共享时间预算内构建和部署改动。评估涵盖分阶段准确率、经验证的恢复、带惩罚的生命周期时延及 token 消耗。在六种智能体与模型配置上,故障状态检测率介于 72.7% 和 90.9% 之间,而整体恢复率仅为 14.5–52.7%,揭示了识别事件与端到端解决事件之间的显著差距。轨迹分析进一步表明,报告的诊断与最终恢复仅部分吻合:部分任务尽管报告的根因分析(RCA)不正确,仍实现了经验证的恢复,而运行时症状消失后,仍可能无法通过针对具体修复的功能验证。SWEOps-Bench 为评估集成开发与运维环境中的自主智能体奠定了严格基础。
When Does a Cross-Device Run Justify PASS? Obligation-Level Evidence Qualification under Partial Observability
• 作者:Zimu Liu, Xiaoxi Guo, Xiaolu Tang, Liang Yu • arXiv URL:https://arxiv.org/abs/2611.06013v1
Abstract
跨设备测试可能完成每条命令,却依据属于另一设备或另一次尝试的证据来判断业务断言。我们引入一种可执行证据契约,将支持证据的资格判定明确设为谓词求值之前的阶段。该契约将每项待验证义务绑定到允许的主体、执行片段、对象及观测范围,并记录尚未解决的证据支持问题,而非将表面成功的观测当作证明。我们评估该契约的两个已实现部分。一项预先规定、采用 12 个种子的受控研究,在 2,304 个断言中分离考察标识符复用条件下的关联作用。在记录和业务策略相同的情况下,Atomic-Facts Flat 产生 160 次错误 PASS,PASS 召回率为 76.30%;提供计算得到的关联后,错误 PASS 降至五次,PASS 召回率升至 99.09%。Deterministic Closure 产生零次错误 PASS,PASS 召回率达到 100.00%,在 11 个种子上优于 Atomic Flat,另一个持平(双侧符号检验 p=0.00098)。大部分收益来自显式关联,而非图表示法。另一项独立的前瞻性现场特征研究涵盖四个工作流、40 个物理执行片段和 80 个断言。相对于冻结的参考标签,物理证据验证器达到 95.00% 的准确率和 100.00% 的 PASS 召回率(27/27),存在三次错误 PASS 判断。现场结果属于描述性结果:策略输入不匹配阻止了计划中的匹配策略比较,事后敏感性分析也未能证明其优于了解策略的文本基线。这两项研究共同刻画了物理证据资格判定,并在受控匹配契约下分离出显式关联的价值。
Can LLM Agents Learn to Test? Maintaining Scoped Experience as Testing Evidence for Mobile GUI Testing
• 作者:Zimu Liu, Xiaoxi Guo, Xiaolu Tang, Liang Yu • arXiv URL:https://arxiv.org/abs/2611.05873v1
Abstract
重复的移动 GUI 测试可以复用此前执行中的路径、定位器和恢复策略。然而,在某个工作流或应用版本中有效的路径,在另一个中可能无关甚至产生误导。我们研究基于 LLM 的测试器如何保留有用经验,同时暂不使用与当前观测矛盾的条目。我们为 AdaptiTest 提出一种维护契约,其中可复用经验具有明确的适用范围、轨迹来源,以及确认、重新验证和撤回的生命周期。该契约将持久化权限专门赋予 Reflector 角色,并将回忆出的经验视为建议。归档实现并未证明每项规定机制都得到端到端执行。该设计改变的是检索上下文,而非模型权重。评估使用只读 Android 工作流及归档的内部比较。一个包含六项任务、每项重复三次的就绪子集报告:有记忆时完成 18/18 次运行,无记忆时完成 3/18 次;但一个以实际证据为依据的单智能体对照也解决了此前的困难任务子集。另一项独立跨会话探测因路径安排存在混杂及状态标签未经验证,被排除在有效性结论之外。我们检查了九个对象中选取的 13 条真实更新风险记录,区分过时定位器观测、基于策略的暂缓使用,以及离线检索诊断。后者并未测量真实设备故障或节省的操作。这些事件是 UI 变化,并非已确认的回归缺陷。证据支持一项范围有限的设计与案例研究,并未证明普遍有效性、优于独立 GUI 智能体系统,或不受限制的探索能力。















































































