北理工计算机学院智能软件工程团队获 CCF-A 类顶级会议 ICSE 2026 杰出论文奖

Evaluating Generated Commit Messages with Large Language Models

代码提交信息（commit message）是描述代码变更的关键文本，在代码审查与维护中具有重要作用。但由于开发者缺乏撰写动力，提交信息质量普遍较低。尽管已有大量自动生成方法，主流评估指标（如BLEU、ROUGE-L）因提交信息存在“一对多语义映射”问题，难以准确反映质量，甚至与人工判断相悖，评估方法亟需改进。

本研究首次系统验证了利用大语言模型（LLM）直接评估提交信息质量的可行性。通过对多种模型与提示策略进行比较，发现最优配置在“变更内容（What）”与“变更原因（Why）”两个维度上，与人工评估的Spearman相关系数分别达到0.65和0.78，接近人类一致性水平。相比BLEU、ROUGE-L、METEOR等传统指标，LLM评估在两个维度上均显著更优。进一步从可复现性、鲁棒性与公平性角度验证了方法稳定性，为提交信息评估提供了新的理论与方法依据。

曾群鸿，北京理工大学计算机学院硕士研究生，导师张宇霞副教授，研究方向为智能软件工程。

张宇霞，副教授，博士生导师。研究方向为智能软件开发与开源生态可持续，在 TSE、ICSE、FSE 等高水平会议和期刊上发表论文二十余篇，获得CCF自然科学二等奖以及三次ACM SIGSOFT杰出论文奖。

刘辉，教授，博士生导师，CCF 杰出会员，软件工程专委会秘书长。主要研究领域为智能化软件工程，承担国家自然科学基金重点项目，发表 CCF A 类论文五十余篇，获得北京市技术发明二等奖、CCF自然科学二等奖以及三次ACM SIGSOFT杰出论文奖。