夜雨聆风学习资料网

ARTICLE · 1260067

2026年IWSM大会分享:LLM在软件规模估算中应用的文献综述

2026年IWSM大会分享:LLM在软件规模估算中应用的文献综述
这是COSMIC二三事的第296篇原创文章
会议聚焦‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

在2026年土耳其伊兹密尔举行的 IWSM-MENSURA 会议上,一项关于大语言模型在软件规模估算中应用的文献综述,对这一领域的研究现状进行了系统梳理。该研究纳入了53篇主要研究,发表时间为2007年至2025年,并围绕研究方法、估算对象、模型效果和未来研究方向展开分析。

一、优化方法仍占重要地位

在53篇研究中,优化方法出现频率最高,共20篇,占37.7%;预测与机器学习方法有14篇,混合方法9篇,矩阵分解6篇,聚类方法2篇。

不过,研究数量多并不意味着预测精度更高。不同方法的适用场景和估算目标存在差异,不能仅凭文献数量判断其优劣。

二、估算对象与数据来源影响研究可比性

现有研究的输出包括规模或组合、推荐结果、从工作量推导的结果以及时间分布,分别有19篇、14篇、12篇和8篇。不同输出对应不同的预测任务,需要采用相应的评价方法。

数据来源方面,22篇研究使用公开或整理后的数据集,13篇使用合成数据或学生数据,8篇使用企业内部数据,另有6篇数据来源不明确、4篇未开展相应评价。只有5篇研究使用符合 ISO 标准的功能规模度量。

这说明,标准化度量和可复核数据仍然不足。若不同研究采用不同的规模单位、数据集和项目背景,即使误差指标相似,也难以直接比较。

三、LLM研究仍以用户故事和故事点为主

在31篇相关研究中,20篇关注故事点估算,占64.5%;10篇关注 COSMIC,占32.3%;3篇采用其他规模度量方法。

输入材料方面,23篇使用用户故事,5篇使用自由形式的需求文本,3篇使用用例,2篇使用源代码。模型方面,BERT 系列出现最频繁,共17篇;GPT-4有7篇,GPT-2有5篇,LLaMA 3有3篇。

这些结果表明,现有研究对故事点和用户故事的关注较多,而直接根据一般需求文本开展功能规模估算的研究相对有限。模型使用频率也不能直接代表模型性能排名。

四、大语言模型效果有潜力,但结论并不一致

在26篇评估模型效果的研究中,22篇与非 LLM 基线进行比较,4篇只比较不同的LLM方案。在报告的效果方向中,11篇结果呈现混合情况,8篇报告LLM表现更好,3篇报告基线方法更好,另有4篇仅比较不同LLM。

因此,目前的证据尚不能证明大语言模型普遍优于传统方法。估算目标、数据集、模型适配方式、评价指标和基线选择,都可能影响实验结果。

五、工业验证仍是主要挑战

在相关研究中,61.5%未报告显著性检验,只有38.5%报告统计分析。整体研究以学术场景为主,严格意义上的工业研究仅占3.0%。

未来研究需要进一步改善数据和标注质量,验证方法在不同项目之间的迁移能力,并关注模型的可解释性、人与模型的协作,以及部署成本和效率。

对于 COSMIC 功能规模估算而言,关键问题不仅是模型能否输出 CFP 数值,还包括能否合理识别功能过程、Entry、Exit、Read 和 Write,是否遵循统一的系统边界与计数规则,以及需求不完整时估算结果是否稳定。

综上所述,

大语言模型为软件规模估算提供了新的可能,但现有研究仍受到数据、度量标准和验证方式的限制。未来需要将标准化功能规模度量、可追溯的估算过程与真实案例验证结合起来,进一步评估 LLM 在早期软件规模估算中的实际价值。

相关学习资料