夜雨聆风“2024年4月28日是Eastmount的安全星球 —— 『网络攻防和AI安全之家』正式创建和运营的日子。该星球目前主营业务为 安全零基础答疑、安全技术分享、AI安全技术分享、AI安全论文交流、威胁情报每日推送、网络攻防技术总结、系统安全技术实战、面试求职、安全考研考博、简历修改及润色、学术交流及答疑、人脉触达、认知提升等。下面是星球的新人券，欢迎新老博友和朋友加入，一起分享更多安全知识，比较良心的星球，非常适合初学者和换安全专业的读者学习。
”
《娜璋带你读论文》系列主要是督促自己阅读优秀论文及听取学术讲座，并分享给大家，希望您喜欢。由于作者的英文水平和学术能力不高，需要不断提升，所以还请大家批评指正，欢迎大家给我留言评论，学术路上期待与您前行，加油。
前一篇博客详细综述了网络威胁狩猎技术，探讨了智能本体与自动化工具的资源整合路径，涵盖了监督与无监督学习、推理机制、图方法及规则方法等多种建模策略，并分析了关键挑战和困难。本文提出了T-trace方法，通过分析日志间的关联性构建事件溯源图。该方法利用张量分解技术精准定位日志社群，并通过计算显著性评分提取事件。通过发现事件社群并基于日志关联构建溯源图，可有效推断APT活动。注意，由于我们团队还在不断成长和学习中，写得不好的地方还请海涵，希望这篇文章对您有所帮助，这些大佬真值得我们学习。fighting！
文章目录
一.摘要 二.引言 三.动机和场景 四.本文框架 1.总体架构 2.事件识别 3.溯源图与攻击链构建 五.实验 1.数据集与实验设置 2.事件识别的性能 3.事件抽象阈值敏感性分析 4.溯源图构建性能 5.攻击社区划分与攻击链提取 6.T-Trace的运行时性能 六.总结与展望
原文作者：Teng Li, et al.原文标题：T-Trace: Constructing the APTs Provenance Graphs Through Multiple Syslogs Correlation原文链接：https://ieeexplore.ieee.org/document/10120960发表期刊：IEEE TDSC（CCF A）2023
一.摘要
高级持续性威胁（APT）采用复杂隐蔽的渗透手段，导致目标系统漏洞频发、暴露风险激增。因此，我们必须主动构建详尽且清晰的APT攻击链，才能有效应对这类威胁。与传统恶意软件或应用威胁不同，APT能够绕过网络安全防护，对组织乃至国家安全造成严重破坏。然而，现有方法难以精准追踪APT，且在识别其复杂未知的恶意活动时面临依赖性爆炸问题。
本文提出并构建了T-trace方法，通过分析日志间的关联性构建事件溯源图。该方法利用张量分解技术精准定位日志社群，并通过计算显著性评分提取事件。通过发现事件社群并基于日志关联构建溯源图，可有效推断APT活动。 实验中，我们使用DARPA数据集并启动了四种当前实用的APT（攻击者追踪）方法。与现有方法相比，T-trace在构建溯源图时能有效减少90%的时间成本，同时达到92%的准确率，该方法可实际应用于APT溯源。
二.引言
高级持续性威胁（APT）利用复杂且隐蔽的攻击手段长期渗透系统，造成严重破坏。与传统的恶意软件攻击不同，APT攻击通过精密的手段绕过网络安全防护措施，通常能在系统中长期存在，难以被传统的入侵检测系统（IDS）发现。这种攻击的最大特点是攻击者不断渗透和扩展攻击范围，而传统安全机制难以追踪和防范APT攻击链的全过程。
现有的基于日志的溯源分析方法面临多个挑战。
首先，它们通常依赖于预先定义的攻击模式，无法应对未知的APT攻击。 其次，许多方法只分析单一日志条目的信息，忽视了日志之间的潜在关联，导致无法全面捕捉到攻击事件的上下文信息。 现有的溯源方法往往受到依赖爆炸问题的困扰，生成的攻击溯源图过于复杂，难以有效处理。
为了解决这些问题，T-trace通过张量分解技术分析多源日志之间的相关性，构建攻击溯源图，从而提高APT攻击链的追踪准确性，并显著减少时间成本。
本文贡献可以总结如下：
- 首先提出一种基于张量分解的显著性评分算法，用于从日志中识别事件，从而弥合低级日志与高级事件理解之间的语义鸿沟。在事件特征提取过程中，我们仅需少量专家知识参与。之后的攻击提取及攻击链构建均可由计算机自动完成。
- T-trace技术通过关联多个系统日志，可对APT攻击溯源进行分析，从而揭示未知攻击链。该方法突破了传统基于训练数据集的依赖，相较于基于学习的传统APT追踪方法，标志着重大技术突破。
T-trace技术显著缓解了构建依赖关系溯源图时的依赖爆炸问题，生成的场景图既保持精简又完整保留了关键攻击者活动，为后续主动威胁防御提供有力支撑。 该技术在事件识别方面较前人成果提升38%的准确率，同时将耗时缩短90%。此外，其生成警报事件的精简依赖关系图准确率高达92%。
三.动机和场景
高级持续性威胁（APT）攻击过程如图1所示，展示了攻击者如何逐步渗透目标系统并执行攻击任务。图中的各个步骤代表了APT攻击的不同阶段，具体如下：
(1) 初始侦察（Initial Reconnaissance）：攻击者通过扫描网络和主机，收集目标系统的基本信息，为后续的攻击做准备。 (2) 初始入侵（Initial Compromise）：攻击者通过社交工程手段，诱使目标用户（如Alice）点击恶意链接（如钓鱼链接），成功进入目标系统。 (3) 载荷植入（Establish Foothold）：在成功入侵后，攻击者在目标计算机上植入恶意代码，获得控制权限。 (4) 提升权限（Escalate Privileges）：攻击者通过注入进程等手段，提升权限，伪装成目标用户或管理员，进一步扩大控制范围。 (5) 内部侦察（Internal Reconnaissance）：攻击者在目标系统内进行内部侦察，获取更多信息，如用户名、密码等敏感数据。 (6) 横向移动（Move Laterally）：攻击者开始在网络内其他计算机上进行横向移动，扩大攻击范围。 (7) 持久化（Maintain Presence）：攻击者通过安装木马、后门等手段确保在系统中的长期存在。 (8) 完成任务（Complete Mission）：最终，攻击者完成其攻击任务，如窃取敏感文件或数据等，达成攻击目的。
相关工作：
APTs detection Provenance with logs Attack graph analysis
四.本文框架
1.总体架构
图2展示了高级持续性威胁（APT）攻击分析中事件识别、溯源图构建以及攻击链提取的过程，具体分为两个主要部分：事件识别和溯源图与攻击链构建。
2.事件识别
左侧部分展示了从日志数据库中提取日志字段，并通过评分系统对每个字段进行分析。每个日志项会被分配一个得分，形成多个事件。图中展示了两个示例事件（Event 1 和 Event 2）。这些事件可能是由不同的日志字段组成的，如：
Log1: 包含元素如 element1、element2等，并附带得分；Log2: 同样包含不同的元素和相应的得分。
这些元素通过与外部攻击行为（如外部远程服务连接、软件打包、暴力破解等）相关联，从而形成有意义的事件。得分帮助系统评估每个元素的重要性，最终识别出事件（如 E1、E2、E3等）。
3.溯源图与攻击链构建
右侧部分展示了如何从识别到的事件构建攻击溯源图和攻击链。整个过程包括几个步骤：
从爆炸到简洁（From explosion to conciseness）：开始时，事件图可能过于复杂，包含大量不相关的信息。需要通过图的优化与简化，使事件图更简洁、精准。 图构建（Graph composition）：通过识别事件之间的关系（如时间序列、相同的攻击目标等），将相关事件联系起来形成图结构。 权重优化（Weight optimization）：为了消除无关的关系，图中的边权重会进行优化。通过优化权重，去除对攻击链分析无关紧要的事件，提升图的清晰度。 社区划分（Community detection）：通过社区检测算法，识别出攻击相关的社区。每个社区代表一组紧密相关的攻击行为或事件。 溯源图（Provenance graph）：通过社区划分后，最终形成攻击的溯源图，揭示了攻击事件的顺序和关联。 攻击链提取（Chain extraction）：从溯源图中提取出完整的攻击链，帮助安全分析人员准确地追溯攻击过程，找出所有相关的攻击步骤和行为。
在第一部分“事件识别”中，系统首先从多种日志源（如系统日志、防火墙日志、网络流量数据）中收集原始数据，并通过正则表达式对日志进行结构化处理。随后，采用张量分解挖掘日志中的隐含相关性，并使用显著性评分算法评估日志元素的重要性，将相关日志聚合为高层的事件。这一步旨在从大量低层次、杂乱无章的日志中抽象出具有语义关联的事件，为后续溯源分析提供更高级的输入。
在第二部分“溯源图与攻击链构建”中，论文首先描述了从事件关系的初步构建开始，由于事件之间存在时间、进程、网络、文件访问等多维关系，初始图结构往往十分庞大且复杂，因此需要进行简化。作者采用权重优化方法，通过逻辑回归为不同类别的事件关系赋予不同权重，从而削弱无关或弱相关的事件连接，解决传统溯源方法中常见的依赖爆炸问题。
接着，系统对加权后的事件图执行社区划分，以识别逻辑相关的事件聚类。为此，论文提出了增强版 Louvain 社区检测算法，通过改进局部移动策略与划分精炼机制，提高社区划分的准确性和稳定性。经过社区划分后，系统得到结构化的溯源图，用以呈现攻击活动的整体脉络。
在最后一步，系统从攻击相关的社区中提取攻击链，通过事件的时间顺序、进程父子关系以及文件访问顺序等信息，构建出攻击行为的完整链条。这使得攻击者从初始入侵到最终目标的各个步骤得以还原，从而完成攻击溯源分析的最终目标。整体而言，APPROACH OVERVIEW 清晰展示了 T-trace 如何从海量日志出发，逐层抽象并构建出清晰、可解释的攻击链路，为APT攻击分析提供了系统化的方法框架。
五.实验
1.数据集与实验设置
论文在实验中主要采用两类数据来源：
一是研究者自行模拟的四类实际APT攻击场景； 二是公开数据集，包括DARPA Transparent Computing数据集和CSE-CIC-IDS2018日志集。
模拟环境中，目标主机采用Windows 7系统，攻击端采用Kali Linux系统，并根据已有攻击报告复现了四类APT攻击。同时，为更接近真实用户场景，实验环境中还加入了网页浏览、聊天等正常用户行为。DARPA数据集来源于2019年5月红队与蓝队对抗演练，包含大量正常事件与攻击事件；CSE-CIC-IDS2018日志集则用于进一步验证T-trace在大规模日志场景下的效率与准确性。
数据集一：https://github.com/darpa-i2o/TransparentComputing 数据集二：https://www.unb.ca/cic/datasets/ids-2018.html
实验设置问题：
Q1. How about the performance of event recognition? (Section VI-B) Q2. How to determine the threshold in event abstraction? (Section VI-C) Q3. Compared with other existing community discovery methods, what is the performance of T-trace’s community division? (Section VI-D) Q4. Based on the attack community obtained after community division, what is the performance of T-trace to construct a complete attack chain? (Section VI-E) Q5. What is the runtime overhead of T-trace to perform provenance graph construction? (Section VI-F)
2.事件识别的性能
图5展示了在不同参数δ和β取值下，系统从日志中提取出的模板数量变化。实验使用50万条连续的原始网络日志和系统日志，考察模板提取阶段的参数影响。其中，δ表示DBSCAN中的距离阈值，β表示模板词在所有词中的占比。
实验结果表明，δ和β越大，提取出的模板数量整体越多。模板数量过多会降低后续张量分解效率，模板数量过少又会影响事件抽取准确性，甚至导致相邻事件无法区分。综合模板提取能力与后续事件抽取需求，论文最终选择β=0.6、δ=0.01作为后续实验参数。
图6展示了不同迭代次数下，提取出的事件模板占总模板数量的比例。该指标用于衡量LTF张量分解模型表达日志数据和抽取事件的能力。实验同样基于50万条连续原始网络日志和系统日志，先提取约6000个日志模板，再观察不同迭代次数下事件模板覆盖比例的变化。
结果显示，随着迭代次数增加，事件模板占比整体提高，说明模型对事件结构的抽取能力增强。但迭代次数过高会增加时间开销并带来过拟合风险，因此论文认为100次迭代已经能够取得较理想效果，虽然200次和500次结果更高，但综合效率与稳定性，100次更适合作为后续实验设置。
图7展示了T-trace与LTF在不同日志数量和不同事件类型下的准确率对比。Fig.7(a)表明，随着日志数量增加，T-trace的准确率保持较高且相对稳定，而LTF准确率则呈下降趋势；当日志数量约为7000条时，T-trace比LTF高出约38%。Fig.7(b)进一步选取运行示例中的7类攻击阶段事件进行比较，结果显示LTF对日志数量变化较敏感，而T-trace整体稳定性更好。总体来看，T-trace平均准确率约为85%，比LTF高约10%—20%，说明其在多源日志事件识别中具有更好的鲁棒性。
3.事件抽象阈值敏感性分析
图9展示了不同顶点阈值和连接阈值对T-trace事件识别准确率的影响。事件抽象过程中，阈值过低会保留过多冗余事件，使事件粒度过细；阈值过高则可能过滤掉关键攻击事件，使事件粒度过粗。实验结果表明，当顶点阈值设置为0.002、连接阈值设置为1.04×10⁻⁸时，T-trace事件识别准确率达到最高，约为88%。
4.溯源图构建性能
实验在DARPA数据集和四类模拟APT攻击场景下，将T-trace与Enhanced PeerHunter、Walktrap、Spin-glass以及未细化划分的Louvain算法进行比较。评价指标包括准确率AC、误报率FP，并在论文中进一步引入F1-score衡量整体效果。结果表明，T-trace通过优化低连通度社区检测，减少了攻击相关事件与非攻击事件之间的错误连接，使溯源图准确率达到92%，误报率低至0.09%；与未细化的Louvain算法相比，准确率提升约5.5%，误报率降低约50%。
5.攻击社区划分与攻击链提取
攻击社区划分的可视化结果如图10所示，图中红色社区表示攻击相关社区，其他颜色社区表示攻击无关或弱相关社区。该图用于说明T-trace能够从复杂事件关系图中区分出攻击相关事件集合，并为后续攻击链提取提供基础。
在攻击链提取实验中，论文进一步以CVE-2017-11882漏洞攻击为例说明T-trace的攻击链还原能力。攻击者首先通过钓鱼邮件诱导目标用户下载恶意Word文档；用户点击并编辑文档后触发EQNEDT32模块栈溢出，并与C&C服务器192.168.1.5建立反向TCP连接；随后攻击者获得受害主机反向Shell，浏览目录和文件，并通过FTP将目标文件上传至192.168.1.5。该过程说明T-trace不仅能划分攻击社区，还能基于事件顺序、进程关系和文件访问关系恢复较完整的攻击链。
6.T-Trace的运行时性能
该实验使用CSE-CIC-IDS2018攻击日志，比较T-trace与Enhanced PeerHunter在大规模日志条件下的时间开销。结果表明，T-trace在社区检测阶段通过设置剪枝判断，减少节点局部移动和无效移动判断，从而提升计算效率。实验显示，T-trace最高可减少约90%的时间成本，并且随着迭代次数增加，其时间优化优势更加明显。
综合PDF实验结果可以看出，T-trace的优势主要体现在三个方面：
第一，在事件识别阶段，通过张量分解与显著性评分相结合，能够比LTF更稳定地从多源日志中抽取高层事件； 第二，在溯源图构建阶段，通过权重优化和增强Louvain社区检测缓解依赖爆炸问题，使溯源图准确率达到92%、误报率低至0.09%； 第三，在攻击链提取与运行效率方面，T-trace能够从攻击相关社区中还原CVE-2017-11882等攻击链，并在大规模日志场景下显著降低时间成本。
总体而言，实验验证了T-trace在APT溯源图构建、攻击链还原和计算效率方面的有效性。
六.总结与展望
本文围绕APT攻击溯源中“日志语义层次低、攻击链长期隐蔽、事件依赖关系复杂”等问题，提出了T-trace方法。该方法通过分析企业审计日志、系统日志和网络流量数据，将底层日志记录抽象为具有语义含义的高层事件，从而弥合原始日志与安全分析之间的语义鸿沟。在此基础上，T-trace进一步利用日志间的因果关系和时间关系构建APT攻击溯源图，并通过权重优化和社区划分剔除无关依赖，缓解传统溯源图构建中常见的依赖爆炸问题。
实验部分通过四类真实APT攻击场景以及DARPA、CSE-CIC-IDS2018等公开数据集对方法进行验证。结果表明，T-trace在事件识别、溯源图构建和攻击链还原方面均具有较好表现：事件识别准确率较已有方法提升约38%，溯源图构建准确率达到92%，同时最高可降低约90%的时间成本。这说明T-trace不仅能够从海量日志中提取关键攻击事件，还能够较为清晰地还原APT攻击从初始入侵、权限提升、横向移动到最终目标达成的完整过程，为安全分析师提供更具解释性和可操作性的攻击场景全景图。
后续工作中，作者计划在更多平台、系统和数据集上验证T-trace的适用性，并进一步结合溯源结果生成更完善的攻击防御指南。同时，如何从原始日志中更准确地识别网络事件、如何适应更多类型的真实业务环境、如何提升方法在复杂异构系统中的泛化能力，仍是值得继续深入研究的方向。
该论文值得学习包括：第一，问题提出非常清晰，方法设计与问题一一对应。论文并不是泛泛讨论APT溯源，而是明确抓住三个核心痛点：低层日志与高层攻击事件之间存在语义鸿沟、多源日志之间缺乏有效关联、溯源图容易出现依赖爆炸。随后，作者分别用事件抽象、日志关联、权重优化和社区划分来回应这些问题，整体逻辑非常完整。
第二，实验设计层次分明，图表与方法模块对应紧密。论文实验不是只给最终准确率，而是依次验证模板提取、事件识别、阈值选择、溯源图构建、攻击社区划分、攻击链提取和运行效率。每一组实验都对应方法中的一个关键环节，这种“模块—指标—图表—结论”的写法值得学习。
第三，案例分析和可视化表达较强。论文将APT攻击过程拆解为初始侦察、初始入侵、建立立足点、权限提升、内部侦察、横向移动、保持存在和完成任务等阶段，并结合溯源图和社区划分展示攻击链还原过程。这种将技术方法与真实攻击场景结合的写法，能够增强论文的解释性和说服力，也便于读者理解方法的实际应用价值。
『网络攻防和AI安全之家』目前收到了很多博友、朋友和老师的支持和点赞，并且保持每周七次更新，尤其是一些看了我文章多年的老粉，购买来感谢，真的很感动，类目。未来，我将分享更多高质量文章，更多安全干货，真心帮助到大家。虽然起步晚，但贵在坚持，像十多年如一日的博客分享那样，脚踏实地，只争朝夕。继续加油，再次感谢！尤其是一些看了我文章多年的老粉，购买来感谢，真的很感动，类目。未来，我将分享更多高质量文章，更多安全干货，真心帮助到大家。虽然起步晚，但贵在坚持，像十多年如一日的博客分享那样，脚踏实地，只争朝夕。继续加油，再次感谢！
前文推荐：
[AI安全论文] 05.RAID-Cyber Threat Intelligence Modeling Based on GCN
[AI安全论文] 06.NDSS2020 UNICORN: Runtime Provenance-Based Detector for Advanced Persistent Threats
[AI安全论文] 14.S&P2019-Neural Cleanse 神经网络中的后门攻击识别与缓解
[AI安全论文] 21.S&P21 Survivalism经典离地攻击（Living-Off-The-Land）恶意软件系统分析
[AI安全论文] 24.向量表征：从Word2vec和Doc2vec到Deepwalk和Graph2vec，再到Asm2vec和Log2vec(一)
[AI安全论文] 25.向量表征经典之DeepWalk：从W2V到DeepWalk，再到Asm2vec和Log2vec (二)
[AI安全论文] 27.AAAI20 Order Matters: 基于图神经网络的二进制代码相似性检测（腾讯科恩实验室）
[AI安全论文] (50)TDSC23 T-Trace：基于多源系统日志关联的APT溯源图构建
