ARTICLE · 1256777
CCF软件大会2026|人工智能操作系统(AIOS)与软件安全论坛
人工智能操作系统(AIOS)与软件安全论坛
一、论坛介绍
随着人工智能技术的快速发展与规模化应用,人工智能操作系统(Artificial Intelligence Operating System,AIOS)逐渐成为连接人工智能模型、计算资源与智能应用的重要基础软件平台。与传统操作系统叠加人工智能算法的模式不同,AIOS面向智能体运行与协同需求,将智能决策、多智能体协同、自然语言交互、AI任务调度以及多模态数据处理等能力融入系统架构,为智能软件和传统软件提供新的运行基础。
AIOS原生智能特性在提升系统智能化水平的同时,也带来了新的软件与系统安全问题,包括AIOS内核与智能调度安全、AI模型与操作系统融合安全、多智能体协同安全、软件漏洞检测与修复、软件供应链安全、智能体权限与能力治理、大语言模型驱动的软件安全防御等。
本论坛围绕“人工智能操作系统(AIOS)与软件安全”主题,邀请相关领域专家学者和论文作者开展交流,重点讨论AIOS自身安全、运行于AIOS环境中的软件安全以及二者交互过程中产生的跨层安全问题,分享相关理论、方法、技术及应用实践,促进人工智能操作系统与软件安全领域的学术交流与技术合作。
二、论坛组织委员会
毛晓光 (国防科技大学)
王林章 (南京大学)
向剑文 (武汉理工大学)
周俊伟 (武汉理工大学)
三、论坛安排
日程安排:
时间:2026年11月6日,14:00~17:40
地点:天津市社会山国际会议中心酒店,四层5号多功能厅
论坛议程:

四、论坛特邀嘉宾
1. 报告人:张涛 教授

题目:AI赋能的软件可靠性与安全性研究:过去,现在,未来
摘要:软件可靠性与安全性已成为衡量软件质量的重要指标。 在以往的研究中,学者们倾向于利用静态分析和机器学习等传统方法来解决这些问题。然而,这类方法无法深层次地捕捉源代码与软件制品上下文之间的语义关系。在这个新时代,生成式人工智能(Generative AI)可以通过深度分析自然语言与编程语言之间的语义关系,从而帮助开发者自动生成源代码、补丁、提交记录(commits)、代码注释以及对用户评论的回复。为了使软件的可靠性与安全性达到最佳性能,众多学者走过了一段漫长的探索之路。对于我们团队而言,我们最初是从依赖缺陷报告(bug reports)或用户评论信息来执行单一的自动化软件可靠性与安全性任务开始的。通过为缺陷报告建立统一的神经网络模型和统一的表征模型,我们构建了一套能够实现多种自动化软件可靠性与安全性任务的方法。在此过程中,我们发现了预训练语言模型在执行自动化软件可靠性与安全性任务时存在的“过度解读(over-interpretation)”问题,并提出了相应的缓解策略。沿着这一路径,依托大语言模型(LLMs)的强大能力,我们提出了一系列新模型及相应工具,以提升自动化软件可靠性与安全性任务的性能。从目前到未来若干年,我们计划把智能体AI(Agentic AI)与软件工程方法相结合,进一步增强AI系统的可解释性,从而使未来的自动化工具能够产生准确且具可解释性的结果。
简介:澳门科技大学计算机科学与工程学院教授。他是英国计算机学会会士、中国计算机学会杰出会员、ACM/IEEE高级会员,并担任IEEE 计算机学会澳门分会创始主席及 IEEE软件工程技术委员会(TCSE)会议主席。因其在计算领域的贡献,被IEEE计算机学会遴选为杰出访问学者(Distinguished Visitor)。张教授的主要研究方向是软件工程与软件安全,他在 ICSE、ESEC/FSE、ASE、TSE、TOSEM 等国际学术会议与期刊上发表了100余篇高水平论文。部分研究成果正在为华为和深水云科等企业赋能。在学术履历与服务方面,他现任软件工程领域顶级期刊 IEEE TSE 的副主编(Associate EiC),并兼任 IEEE TRel、JSS、EMSE 等多个权威国际期刊的编委。此外,张教授担任 ISSRE 2027、APSEC 2025、SANER 2023 等多个知名国际学术会议的大会主席,并长期担任 ICSE、FSE、ASE 等顶级会议的程序委员会委员,曾荣获 FSE'26 、TOSEM、JSS、IST等期刊和会议所颁发的杰出审稿人奖。
2. 报告人:杜冬冬 副教授

题目:声明式智能体操作系统研究与实践
摘要:随着大语言模型、智能体等人工智能技术的快速发展,操作系统研究既面临新的挑战,也迎来了新的发展机遇。传统操作系统围绕命令式接口和人工编程构建,在开发、抽象、执行和扩展等方面逐渐难以满足智能体应用对自主开发、意图理解、高效探索和动态定制的需求。在开发范式方面,操作系统正在从人工专家主导的代码开发向规约驱动的模型生成演进;在系统抽象方面,需要从命令式接口演进到面向Intent的声明式接口;在运行机制方面,需要原生支持智能体高效探索与回滚;在系统扩展方面,需要支持多智能体场景下的动态内核定制与虚拟化扩展。报告将分享团队在 Declarative OS for Agents方向的思考与最新研究实践,及其关键技术,探讨面向 Agent 时代的新一代操作系统设计。
简介:杜冬冬,博士,上海交通大学副教授。长期从事操作系统、体系结构、智能体系统等方面的研究工作。研究成果发表在SOSP、OSDI、ASPLOS、FAST、ISCA、HPCA、MICRO、TOCS等国际著名会议和期刊,并获得 SOSP 2025最佳论文奖以及FAST 2026最佳论文奖和杰出技术成果奖。其中,一系列成果已经在工业界和开源社区得到广泛应用,包括(1)D-VSync,作为传统VSync渲染技术的改进,目前已经在鸿蒙操作系统得到大规模部署和应用(千万规模设备),有效提升了终端场景下的用户体验;(2)推动SPMP硬件扩展合入RISC-V指令集标准(国内首个),获人民日报等媒体报道,并基于此构建了蓬莱可信执行环境系统;(3)Serverless低时延沙箱启动技术,首次实现毫秒级Serverless沙箱启动,并且在蚂蚁金服得到了大规模部署和应用;(4)并行化GPU启动gCROP,并且已经合入CRIU主线代码,是CRIU默认开启的应用restore加速技术。
3. 报告人:王磊 华为基础软件AI 高级架构师

题目:基于openEuler的Agent 可靠性及安全探索与实践
摘要:随着 Agent 从原型演示走向规模化生产落地,可靠性与安全问题成为核心瓶颈,集中体现为五大痛点:①执行链路黑盒化,任务过程难以追溯审计;②缺乏体系化量化评估手段,业务可用性、安全风险无法有效度量;③模型与 Agent 质量漂移、潜在风险预警滞后,故障多为事后发现;④故障与安全事件根因排查高度依赖人工,诊断处置经验难以沉淀复用;⑤评测迭代与业务优化割裂,缺少自动化持续改进闭环。在 AIOS 承载智能体调度与协同运行的场景下,上述问题贯穿任务规划、工具调用、跨系统交互全流程,亟需面向 Agent 全生命周期构建一体化可靠性与安全保障体系。
简介:华为基础软件 AI 高级架构师、openEuler SIG-Intelligence Maintainer,拥有 20 年软件研发经验,当前主要研究方向AI Infra、AI软件工程、Agent可靠性以及生产级Agent系统的落地。著有《微服务架构与实践》、《Serverless 核心技术与实践》、《DevOps 实践指南》。
4. 报告人:朱晨 高级工程师

题目:从“人机交互”到“AI原生”—银河麒麟桌面操作系统的探索与实践
摘要:麒麟软件,聚焦本地AI智能,兼容云边端模型,将PC操作系统打造成具有心智思考和全域安全执行能力的AI原生操作系统。自研形成以AI子系统为算力底座、系统级智能体框架为核心指挥、AI助手为统一交互入口、端云混合协同为调度保障、开放协议为生态支撑的全栈原生AI能力体系。将AI融入下沉到操作系统的系统组件、系统安全、文件管理、输入输出等方方面面,为政企等高安全场景提供自主可控、隐私可信的AI原生桌面操作系统。
简介:朱晨,麒麟软件终端研发中心副总经理,openKylin开源社区委员会主席。长期深耕银河麒麟桌面操作系统产品规划与研发,牵头AIPC、端侧AI原生操作系统落地,推动openKylin开源社区建设迭代,深度参与各行业终端国产化与软硬件生态共建。
五、论文报告嘉宾
1. 报告人:伍复慧 副教授

题目:KylinX:双内核通用可信操作系统
摘要:针对通用操作系统在生态兼容与安全可信之间长期存在的结构性矛盾,本文提出并实现了 KylinX 双内核通用可信操作系统.该系统复用Linux内核承载应用与驱动生态,将度量、密钥、策略与审计等高价值安全能力收敛到独立可信内核,并由轻量级虚拟化监视器在更高特权级执行统一隔离裁决.围绕“职责分离、硬件强制隔离、受控跨域协作”三项设计原则,KylinX通过二阶段页表与IOMMU建立内存与DMA强边界,通过启动度量与运行时动态度量贯通可信链,并构建可信域与通用域之间可审计、可扩展的通信接口.基于飞腾 D3000M CPU的长城笔记本的系统评估表明,该架构在保持 Linux生态兼容和接口语义稳定的同时,实现了可接受的运行时开销:计算与内存路径影响较小,I/O场景影响有限.综合结果显示,KylinX在工程可部署性、生态可用性与系统可信性之间形成了可验证的平衡.
简介:伍复慧,博士,副教授,楚天学者。发表高水平论文20余篇,授权国家发明专利3项,出版教材1部。主持湖北省自然科学基金、湖北省高校优秀中青年创新团队、参与湖北省教育厅哲学社会科学研究、湖北省教学改革研究等项目10余项。
2. 报告人:徐刚 高级工程师

题目:事件驱动智能体操作系统跨层能力治理方法
摘要:事件驱动智能体操作系统中,事件来源、任务创建与工具执行跨越不同信任域,单点权限检查难以建立完整链路的授权依据。本文提出跨层能力治理方法 E2AG(Event-to-Agent Governance),通过来源契约与目标策略控制任务准入,以任务绑定的短期能力约束工具调用,并记录授权依赖以支持审计与失败定位。本文建立跨层授权状态模型,在 DiOS 原型中实现该方法,并开展消融、外部机制对照、端到端执行及故障注入实验。结果支持所测配置下跨层授权约束的有效性,表明任务准入与调用检查分别承担不可相互替代的治理职责。
简介:华东师范大学软件工程学院、国家可信嵌入式软件工程技术研究中心高级工程师。长期从事信息系统架构设计与智能系统研发,研究及应用方向涵盖智能制造优化调度、机器视觉和工业边缘计算。作为核心技术团队成员参与 MAPS 智能制造规划系统的研发与产业应用,近年来围绕大模型应用平台、智能体操作系统及安全治理开展研究与工程实践,参与 ChatECNU 平台建设及 DiOS 研发。
3. 报告人:周远 研究员

题目:面向智能制造操作系统的可信计算模型推荐:一种多智能体协同方法
摘要:智能制造操作系统(Intelligent Manufacturing Operating System,IMOS)的核心功能是智能制造业务计算:根据运行数据,选取或生成算法,实时监控生产状态,进行故障预测、质量控制和工艺优化.针对现有业务计算将控制逻辑与计算模型静态绑定,导致跨场景复用困难且缺乏系统性可信保障的问题,本文提出了一种面向IMOS的多智能体协同可信计算模型推荐方法.该方法以运行时模型动态推荐为核心,主要包含三个关键步骤:第一步,将控制逻辑(规则库)与计算模型(模型库)解耦分离,构建由任务解析、动作编排、种类匹配、实例调度和计算执行五类智能体组成的协同推荐框架,实现从任务需求到模型实例的动态决策;第二步,提出指令一致性感知与可信度评估机制,通过任务指令内部冲突识别以及模型适用性、来源与历史行为的综合评价,实现适用性与可信性的协同选择;第三步,提出异常根因驱动的可信反馈执行机制,通过运行状态监测与根因回溯,触发模型重调度或控制流重规划,形成计算模型推荐与实际运行行为之间的运行时自愈闭环.该方法通过解耦管理与动态关联,有效提高了计算功能的跨场景复用与适应能力,并从指令、模型和执行三个层面保障了智能计算的可信.实验结果验证了所提方法在跨场景计算模型推荐及可信保障方面的有效性.
简介:浙江理工大学研究员、博士生导师,国家级青年人才。研究领域为智能软件系统,包括自动驾驶系统、机器人系统、具身智能系统和智能制造系统。主持国家自然科学基金面上项目1项。发表论文60多篇,获ACM SIGSOFT杰出论文奖2次(ASE 2024、ISSTA 2026)、2024年世界机器人大会最佳论文提名奖、IEEE ISPA 2021最具创新奖等。曾担任CCF推荐会议复杂计算机系统工程国际会议(ICECCS 2025)程序委员会主席和2026年度第2期CCF软件工程专委会青年论坛执行主席。
4. 报告人:司徒凌云 助理教授

题目:基于混合依赖关系矩阵制导的鸿蒙内核模糊测试
摘要:模糊测试是主流的内核漏洞检测技术之一,但是应用于鸿蒙内核时,由于无法有效识别并利用系统调用间的静态显式资源与语义依赖,运行时的动态隐式状态依赖,导致难以触发内核深层执行路径。本文提出了一种由混合依赖模型驱动的鸿蒙内核模糊测试方法,并实现了原型工具 HMRelFuzz。在静态层面,结合底层语法特征和大语言模型推理,提取显式资源依赖与隐式语义依赖。在动态层面,采用基于变异的依赖推导机制,通过覆盖率反馈动态识别运行时隐式状态依赖。HMRelFuzz将静态和动态依赖矩阵纳入模糊测试流程,并结合上下文感知的序列生成策略与四种依赖关系制导的变异算子,引导测试用例探索更深层的内核执行路径。大规模实验评估验证了HMRelFuzz的有效性与效率。HMRelFuzz在 Linux v5.11、v6.2和v6.13 和鸿蒙内核中共识别出 319,755 对依赖关系,较现有先进基线提升超过 60%, 依赖关系准确性达 97.2%。在相同测试条件下,HMRelFuzz 的 Linux 内核代码覆盖率较 Syzkaller 提升 11.9%,独立有效崩溃数量提升 50%。在鸿蒙操作系统上进行的一个月连续测试中,代码覆盖率从 40%提升至48%,并发现了 16 个新的鸿蒙内核漏洞。
简介:南京大学信息管理学院助理教授、特聘研究员、博士生导师。研究方向为国家安全情报,目前聚焦于南海疆域安全、网络空间安全与人工智能安全研究。主持国家社科基金(重大专项子课题、青年项目)、教育部社科研究后期资助(重大项目)等课题10余项;出版学术专著1部;在领域核心期刊和高水平学术会议上发表论文40余篇,荣获最佳论文奖2次,优秀论文一等奖1次,华为技术创新奖1次;申请中国发明专利7项,完成科技成果转化4项;自主研发多个漏洞检测工具与数据库系统,实际应用于华为等一流IT企业与中国南海研究院等知名研究机构。
5. 报告人:曹思聪 副教授

题目:基于多智能体协同的安全补丁定位方法
摘要:开源软件已成为现代软件系统和基础设施的重要组成部分,其安全漏洞可能通过软件依赖关系影响大量下游项目。准确定位已披露漏洞对应的修复提交,有助于跟踪补丁传播并及时实施安全更新,是维护开源软件供应链安全的重要基础。然而,公开漏洞记录与代码仓库中的修复提交之间往往缺少显式关联,漏洞描述与代码修改之间存在语义差异,有限的代码差异又难以提供理解修改作用所需的完整上下文。针对上述问题,本文提出一种基于多智能体协同的安全补丁定位方法MA-SPL。该方法首先缩小候选提交范围,再由多个智能体协同理解代码修改、判断漏洞修复关系并综合比较疑似修复提交,同时按需调用工具补充代码上下文和外部关联信息。在包含1364个CVE和2204条修复提交的数据集上,MA-SPL的Recall@1、MRR和ME@10分别达到79.37%、0.8219和2.37。在大模型知识截止日期后披露的185个CVE和229条修复提交上仍保持较好的定位效果。消融实验设置了移除工具和单一智能体两种变体,进一步验证了工具调用与多智能体协同的有效性。
简介:曹思聪,南京邮电大学副教授,CCF软件工程专委会通讯委员。主要研究智能化软件工程、软件供应链安全、大模型安全等。主持/参与国家自然科学基金青年/面上/重点项目、江苏省自然科学青年基金等。以第一/通讯作者发表ICSE、ASE、TOSEM、S&P、USENIX Security等CCF-A类会议/期刊论文15篇,获得ACM南京优博奖、ICSE 2026杰出论文奖、CCF-蚂蚁科研基金优秀应用项目(2023),授权发明专利9件(含美国专利1件)。受邀担任软件工程/网络与信息安全领域顶级会议ICSE、USENIX Security、FSE、ASE的程序/组织委员会委员,入选2026江苏省青年科技人才托举工程。
6. 报告人:仇晶 教授

题目:GuardFlow-EI面向人工智能操作系统AIOS硬件与模型可信基座的威胁传播形式化与可判定阻断框架
摘要:现有具身智能硬件供应链安全研究多止于定性枚举,缺乏跨层传播的形式化推理与可证明防御。本文提出 GuardFlow-EI,一种以威胁传播图模型为核心的形式化威胁建模框架。 该框架将硬件全栈分层, 通过 P/A 域标注将 STRIDE 扩展为 STRIDE-PA, 从而系统地识别核心威胁并将威胁传播建模为守卫属性在有向图上的状态传播。 在路径生成规则集所界定的传播路径下,本文形式化覆盖供应链攻击链(链 1)与 AI 供应链攻击链(链2) 两类典型跨层攻击链,基于显式拓扑假设推导出阻断攻击链的充要条件与结构性遏制条件, 并界定其适用架构范围。针对反馈链(链 3)与 DoS 链(链 4),本文给出混合自动机/时序自动机扩展接口与退化衔接条件, 其完整可判定化构成后续研究议程。防御分析表明, 硬件信任根、模型完整性校验与独立安全规划器是阻断跨域传播的关键, 在 AI 血统跨域攻击场景下, 后两者构成阻断的必要条件。原型引擎在真实拓扑及大规模随机图上均维持多项式时间推演效率。 GuardFlow-EI 为 AIOS 硬件与模型可信基座提供了具备可判定阻断条件的形式化威胁建模方法。
简介:广州大学网络空间安全学院教授、博士生导师, CCF 杰出会员, 主要研究领域为网络安全智能攻防, 数据安全, AI 安全。
7. 报告人:尹振洋 硕士研究生

题目:基于消息特征差异分析的ROS应用程序模糊测试方法
摘要:机器人操作系统(Robot Operating System,ROS)是机器人软件开发的开源软件平台,基于其开发的应用程序为机器人提供感知、定位、规划和控制等核心功能,ROS应用程序的可靠性直接影响机器人的安全稳定运行.近年来,模糊测试因其具备自动化程度高、人工成本低和漏洞检测能力强等特点,成为ROS应用程序测试方法之一.然而,现有ROS应用程序模糊测试方法主要关注种子是否覆盖新的代码分支,或其消息特征是否在历史记录中出现过,较少关注种子的消息特征和历史消息特征记录之间的差异程度,导致部分对应稀有消息特征的种子难以及时获得变异机会,限制了测试效果.为此,本文提出了一种基于消息特征差异分析的ROS应用程序模糊测试方法RMFDA(ROS fuzzing based on Message Feature Difference Analysis).该方法在测试过程中将种子执行期间ROS节点间传递的消息提取为消息特征;随后计算种子的消息特征和历史记录之间的差异程度得到差异分数;最后结合种子的消息特征状态、变异次数和消息特征差异分数进行种子选择,优先选择更可能对应稀有消息特征的种子进行变异.实验表明,RMFDA在8个ROS应用程序上的总分支覆盖数量相较于ROFER和ROZZ分别提升了4.81%和21.58%,漏洞检测数量分别提升了21.74%和33.33%.此外,RMFDA检测到4个此前未被报告的漏洞,且均得到开发者确认.
简介:北京信息科技大学计算机学院计算机科学与技术专业硕士研究生,主要研究领域为软件分析与测试技术.
8. 报告人:陈晓东 硕士研究生

题目:RAG框架缺陷特征与修复策略的实证研究
摘要:随着大语言模型与智能体技术的快速发展,人工智能系统正由以单一模型为核心的应用形态,逐步演进为融合外部知识、模型服务、工具调用和多组件协同的复杂软件系统。检索增强生成(Retrieval-Augmented Generation,RAG)框架通过连接外部知识源与大语言模型,为知识检索、上下文构建和内容生成提供基础支撑,已成为人工智能操作系统和大模型应用中的重要知识基础设施。然而现有研究多聚焦检索、问答输出的黑盒效果评测,缺乏对开源端到端RAG框架原生代码缺陷及完整修复流程的系统性实证研究。本文选取RAGFlow、AnythingLLM、FastGPT、Kotaemon四款开源框架,收集333组绑定缺陷标签且关联合并拉取请求(Pull Request,PR)的Issue-PR样本,从缺陷症状、功能阶段、缺陷根因、修复投入、常见小规模修复策略开展量化标注分析,并基于122组小规模缺陷任务评测大模型辅助补丁生成能力。实验结果表明:1)功能失效和运行崩溃是最主要的缺陷症状,共312条,占全部样本的93.7%。缺陷主要分布于RAG框架知识准备阶段和系统交互与运行支撑阶段,两者共197条,占59.2%,表明RAG框架缺陷广泛存在于知识处理链路及其工程支撑环节;2)数据处理错误、逻辑与校验错误、接口契约错误和状态一致性错误是四类主要缺陷根因,共241条,占72.4%。缺陷根因与缺陷症状之间不存在简单的一一对应关系,同一根因可能引发不同症状,同一症状也可能由多种技术机制导致;3)排除版本发布、功能集合、代码重构及多问题混合提交后,对317条样本的分析显示,Issue关闭时长、讨论量和关联PR变更行数三个公开可观察修复投入代理指标的中位数分别为3.08天、3条评论和23行,且均呈现明显的长尾分布;4)39.6%(132组)样本的代码变更行数(Lines of Code,LOC)不超过15,其主要有边界校验、接口对齐、数据转换、状态隔离、检索约束、资源管控六类高频小规模修复策略。结果表明,RAG框架中相当一部分缺陷可通过局部代码修改完成,并呈现出可归纳的重复修复模式;5)在122项修复任务中,DeepSeek-V4-Flash和GPT-5.4-mini分别有44.3%和41.8%的候选补丁通过语义评价。结果表明,大语言模型能够为部分RAG框架的缺陷生成修复语义可接受的候选补丁。最后,基于上述实验结果,本文从加强关键组件边界的契约验证与可观测性、完善覆盖关键处理阶段的诊断信息、探索面向局部小规模补丁的自动化辅助修复,以及明确大语言模型辅助修复的适用边界四个方面提出启示。
简介:武汉理工大学人工智能学院计算机技术专业硕士研究生,目前研究领域为智能软件工程和大模型技术。
9. 报告人:贺昕曈 硕士研究生

题目:语义诱导下的AI Agent授权决策失误挖掘
摘要:工具调用型 AI Agent 需要在执行外部操作前判断目标操作是否被授权, 但自然语言请求中的身份自称、授权转述和上下文暗示可能干扰其对授权边界的理解, 使其在授权真值为拒绝时仍发起受保护工具调用. 现有 Agent 安全评估多关注提示注入、危险路径可达性或最终响应安全性, 缺乏面向工具调用前授权决策失误的系统化挖掘方法. 为此,本文提出语义风险对象引导的授权决策失误挖掘框架 SROAFuzz, 该框架从项目文档中抽取具有证据支撑的授权语义并建模为语义风险对象, 在保持授权真值不变的条件下生成、细化和变异测试种子, 并依据执行轨迹进行分级判定与双层反馈调度. 本文在五种开源 Agent 框架上进行评估, 实验结果表明, SROAFuzz 在三轮迭代后触发精确未授权调用的比例为 36.2%–89.0%,相关语义风险对象覆盖率为 82.4%–88.5%, 消融实验进一步验证了双层反馈、变异器和语义细化模块的有效性.
简介:武汉理工大学人工智能学院计算机科学与技术专业硕士研究生,主要从事网络安全相关研究,目前研究方向为 AI Agent 安全与智能体系统安全。
10. 报告人:陈子涵 硕士研究生

题目:DiffHallu:基于差分测试的长文本生成幻觉风险量化方法
摘要:随着大语言模型(Large Language Model,LLM)在知识服务、内容生成等领域的广泛应用,其生成内容的可靠性问题日益受到关注。LLM可能生成与客观事实、给定上下文或可验证知识不一致的幻觉内容,并在高风险应用场景中带来安全隐患。长文本生成的输出空间开放,且通常包含多个相互关联的事实性陈述,难以为模型输出预先给定完备且唯一的正确结果,因而面临突出的测试预言问题。现有针对长文本生成的幻觉风险量化方法通常依赖高质量标注数据训练专用检测器,或借助外部知识资源验证生成内容,因而受到数据与知识资源的可用性限制。差分测试可通过比较差分对象在受控条件下的行为差异发现异常,但LLM生成的随机性和开放性使传统的输出一致性比较难以直接用于幻觉风险量化。针对上述问题,本文提出基于差分测试的长文本生成幻觉风险量化方法DiffHallu(Differential Testing for Long-form Hallucination Detection)。其无需针对幻觉风险量化任务额外训练专用检测器,在实际应用中不依赖外部知识库或人工参考答案。DiffHallu将LLM在相同对话前缀下生成的多个候选续写作为差分对象,使用语义聚类将候选续写归一化为语义簇,用以计算语义熵,以此量化候选续写的语义分散程度,进而估计LLM长文本生成输出的幻觉风险。在4个目标LLM和13,292个实体级实验样本上的实验结果表明,DiffHallu在幻觉风险量化任务上的平均AUROC为0.853,相比4种基线方法平均提高了7.8%~16.7%;在二元幻觉检测任务上的平均F1为0.873,相比4种基线方法平均提高了6.4%~7.8%,并在4个目标LLM上均取得最高的精确率和准确率。
简介:东南大学苏州联合研究生院计算机技术专业硕士研究生,目前研究领域为可信人工智能。
六、论坛组织委员会简介
1. 论坛组委会:王林章 教授

简介:南京大学计算机学院至诚特聘教授、博士生导师,中国计算机学会会士,担任全国信息技术标准化技术委员会委员、中国计算机学会理事、《电子学报》领域编委、“新型基础软件及生态”重大专项专家组副组长。科研与教学主要关注系统软件、软件工程、智能化基础软件可信保障,主持承担国家自然科学基金重点项目、国家重点研发计划项目课题。
2. 论坛组委会:向剑文 教授

简介:武汉理工大学教授、博士生导师,湖北省百人计划特聘专家,武汉理工大学网络信息中心主任,湖北省高可信软件技术国际科技合作基地主任、交通信息与安全教育部工程研究中心副主任、CCF系统软件专委会与软件工程专委会执行委员。主要研究方向包括网络安全和可靠性工程等。主持国家重点研发计划课题、国家自然科学基金、国家242信息安全专项、湖北省创新群体、湖北省重大专项课题、湖北省重点研发计划等项目20余项,担任多个国际会议组织工作,包括ISSRE指导委员会副主席和ISSRE 2021大会主席等,在中国软件大会2022-2025连续四年成功举办论文专刊论坛,其中2025年获评优秀论坛。
3. 论坛组委会:周俊伟 教授

简介:武汉理工大学人工智能学院副院长,教授/博导,湖北省青年人才。曾任HKIE Transactions副主编,网络信息安全青年编委,ISSRE分论坛主席,ACL、Coling、EMNLP等会议程序委员。主要从事系统安全、日志分析等方向的研究。主持国家自然科学基金等项目10余项,湖北省自然科学奖三等奖(主持),教育部协同育人项目结题为优秀。参与课题11项,其中省部级以上6项,军工横向2项。担任多个国际会议包括ISSRE、CCS、AAAI、CVPR程序委员会委员与主席,发表论文60余篇,包括IEEE、ACM会刊、CCF A/B论文14篇,谷歌学术引用2100余次,H指数22,i10指数41。授权发明专利10项。指导学生参加创新创业大赛获得省部级奖项以上20余项。
4. 论坛组委会:毛晓光 教授

简介:毛晓光,国防科技大学计算机学院教授,博士生导师,软件工程双一流学科带头人,学校教学督导组组长,享受国务院政府特殊津贴。主要从事可信软件技术研究。曾获国家级教学成果二等奖3项、国家级一流本科课程2门、全国教创赛一等奖、省部级教学成果一等奖3项、省部级科技进步一等奖3项。
















































































