思科用AI写安全事件报告 结果……

点亮上方「★星标 」更多干货内容，不再错过！

本文关键看点：

AI报告中的不一致性问题定义

AI输出中的各种不一致性往往会削弱AI报告流程所承诺的效率提升。大多数不一致性的核心根源在于LLM的概率驱动本质。这些模型通过基于模型权重和训练数据预测序列中的下一个token（通常是单词或子词）来生成输出。从本质上讲，这意味着即使用完全相同的提示多次运行，也不会有任何两个LLM输出是完全相同的。

Talos IR识别出在报告内容生成过程中，这种概率性表现的四种形式：

- 研究和来源的不一致性：LLM利用各种数据源，从静态训练集到实时互联网访问。由于模型在不同运行中可能从不同网站提取数据，底层数据经常发生变化。这种来源材料的可变性直接导致结果不一致，使依赖LLM获得可重复、标准化研究结果变得困难。

- 结论的不一致性：即使使用相同的数据，LLM也可能产生不同的结论。例如，在数据泄露场景中，模型在某次运行中可能建议全组织范围的密码重置，而在另一次运行中则建议针对性重置。由于缺乏评估特定上下文的细微差别能力，模型通常默认采用首先生成的建议。这种不一致性使决策变得复杂，因为模型可能无法为手头的特定情况提供最合适的解决方案。

- 输出格式的不一致性：由于LLM逐token生成内容，文档结构和格式可能在不同运行之间波动。这种不可预测性在专业环境中存在问题，因为标准化布局（如一致的执行摘要或建议部分）对质量控制至关重要。使用LLM生成正式报告时，实现可预测的、统一输出仍然是一项重大挑战。

- 由于上下文漂移和污染的不一致性：LLM使用"上下文窗口"来跟踪对话历史，但这造成了两个主要问题。首先，当窗口达到极限时，模型会丢弃较旧的信息，可能丢失关键的初始指令。其次，在同一会话中执行多个不相关任务会导致"上下文污染"，冲突的数据导致模型产生不可预测或混合的结果。随着会话增长，这些因素会降低性能，因为模型难以保持对原始任务要求的专注。

控制不一致性的方法

Talos IR AI Tiger Team开发并测试了各种提示工程方法来控制每类不一致性。虽然这些方法单独来看都算不上突破性，但它们共同产生了高度准确的报告。以下四种不一致性控制方法：

- 提示专门化：提示专门化通过用细粒度的单一任务指令替换大型统一提示来缓解上下文漂移和污染。通过将每个提示集中在报告的特定小部分，幻觉或跨部分交叉污染的风险显著降低。这种模块化方法允许对各个组件进行更大的透明度和更轻松的优化。

- 指定来源约束：指定来源约束通过严格规定LLM应从哪里检索信息来解决研究和结论中的不一致性。通过在数据溯源方面提供明确指令，用户限制模型从不可靠或冲突来源提取的能力。这种控制确保最终输出保持在权威数据的基础上，防止生成不准确或推测性的内容。在提示中定义这些边界对于保持完整性并确保模型的结论与提供的来源材料严格一致至关重要。

- 输出格式规范：输出格式规范通过向LLM提供关于长度、语气、内容和结构的严格参数来确保一致性。如果没有这些指令，模型通常会产生过多或过于创造性的内容，偏离专业标准。通过明确界定目标受众、首选写作风格和必要的内容元素，用户可以强制模型遵循可预测的结构。这种程度的指导对质量控制至关重要，确保生成的报告满足专业要求且不包含不必要或冗余的信息。

- 模板引导提示：模板引导提示是一种严格强制结构一致性的方法。通过将刚性模板直接嵌入提示中，用户可以精确控制最终输出的布局方式。为模型提供明确指令，以区分必须保持不变的静态文本和需要替换的动态占位符。这种方法消除了格式变异性，确保每份文档遵循统一、专业的结构。通过将这些模板与明确的分隔符指令相结合，用户实现了高度可预测、可重复的输出，几乎不需要后处理或手动格式化。

案例研究：TTX报告

TTX（桌面推演）是一种网络安全利益相关者聚集在虚拟或物理会议室中，讨论涉及网络安全事件的定制场景的活动。促进者引导他们完成事件解决的讨论，提出试探性问题，以突出组织事件响应流程的优势和潜在差距。虽然此案例研究侧重于TTX报告，但该方法论可适用于任何具有标准化输入和可预测输出的网络安全报告用例。

选择TTX报告作为案例研究的原因有两个：首先，其内容主要是对TTX事件期间捕获的笔记进行重组，这意味着LLM的角色集中在重组现有数据而非创意性生成新内容。其次，与包含时间戳、文件路径和其他难以手动验证的技术元素的取证报告不同，TTX报告足够简单，使得人类工作者能够一目了然地进行审查。这使得在研究和测试期间，幻觉不太可能被忽视。

测试预测AI生成报告可将总报告起草时间减少50%（包括手动编写10%无法高效AI生成内容的时间，以及手动编辑AI生成内容的时间）。"建议打磨器"提示有效地提出了TTX参与者和促进者可能在讨论期间未明确识别的建议关联项。

测试产生了更完善建议列表。在质量保证流程中对样本报告进行的盲测显示，整体写作质量没有明显下降。同事审阅者、专业编辑和管理层审阅者在不知道是AI生成的情况下都对报告给予了正面评价。同行审阅者评论说，拼写错误和语法错误的发生率远低于平均水平报告。

需要密切关注的问题

当然也存在一些需要在生产环境中密切管理的缺点和注意事项。首先是数据管理：适当的AI工具选择对保护敏感数据至关重要。将组织数据上传到公开托管的AI工具通常会构成策略违反和重大数据隐私事件。

Talos IR严格遵守Cisco的负责任AI原则，并敦促其他组织和个人在数据处理方面极其谨慎。测试证实，模型选择对输出质量至关重要。截至2025年底，Claude Sonnet 4.5成为最有效的模型，提供高质量、一致的文本。它主动识别和标记源笔记中内部冲突的能力显著减少了对手动更正的需求。不出所料，输入质量决定输出质量。

主要问题区域在于建议——虽然模型能够并且确实会识别遗漏的建议，但不能依赖它来做到这一点。也许最明显的考虑是，报告作者对最终产品的质量保留问责权。

既然如此，他们必须编辑、理解并对最终报告的每一个字负责。在测试期间，研究团队发现LLM生成的建议存在重复、无关或不可操作的情况。如果在生产环境中使用而没有手动检查，可能导致最终报告中的建议质量低下。

技术局限性

Talos IR AI Tiger Team在测试中发现，在单个会话中编辑多个样本报告会导致内容交叉污染——即使用于生成第一份报告的笔记已从项目参考文档中删除。团队确定，在新会话或新项目中运行每个提示以确保输出完整性至关重要。

此外，团队开发并测试了第四个提示，旨在编辑完整报告中的语法、拼写等错误。虽然这个过程在识别拼写错误方面非常有效，但多次迭代会产生大量幻觉的语法问题（假阳性）并遗漏实际问题（假阴性），成功率低于50%。

最令人担忧的是，使用相同模型、相同提示和相同草稿报告输入的多次运行会表现不一致——有时能发现问题，有时则忽略问题。虽然团队将继续随着模型改进测试此用例，但目前它不适合生产使用。

下一步

Cisco在负责任采用和开发AI方面投入了大量资源。Talos IR AI Tiger Team的主要目标是将这一广泛授权转化为事件响应和取证领域的可操作应用。怀着这一想法，他们根据Cisco的负责任AI原则持续测试、开发和发布新能力。

思科Talos最终忠告：大模型可以适应任何具有标准化输入和可预测输出的网络安全报告用例，但作者必须对最终报告的每一个字负责。

🎉 大家期盼很久的#数字安全交流群来了！快来加入我们的粉丝群吧！

🎁多种报告，产业趋势、技术趋势

这里汇聚了行业内的精英，共同探讨最新产业趋势、技术趋势等热门话题。我们还有准备了专属福利，只为回馈最忠实的您！

👉 扫码立即加入，精彩不容错过！

😄嘻嘻，我们群里见！