夜雨聆风学习资料网

ARTICLE · 1270886

CCF软件大会2026|大模型可靠性与安全性论坛

CCF软件大会2026|大模型可靠性与安全性论坛

大模型可靠性与安全性论坛

一、论坛介绍

大模型相关技术正以日新月异的速度迅猛发展。自中国政府在2024年政府工作报告中首次提出“人工智能+”行动以来,技术赋能已深入各行各业;2025年7月的世界人工智能大会发布的最新数据指出,当前全球已发布的大模型总数为3755个,其中中国大陆企业推出1509个、数量居全球首位且占比达4成之多;紧接着,国务院于2025年8月发布了关于深入实施“人工智能+”行动的意见,进一步加快培育发展新质生产力。在这一政策驱动下,技术领域迎来爆发式突破:2025年底,国内大模型DeepSeek V3凭借在长文本理解、数学题解答等方面的卓越表现,获得了“最强开源模型”的认证。进入2025年底与2026年初,Seedance的多模态物理世界模拟技术以及OpenClaw的自主进化智能体框架相继发布,标志着大模型已从单一的逻辑推理迈向更具自主性的复杂系统阶段,Claude 3.5 Sonnet等模型也在处理复杂编程任务中持续刷新性能上限。

随着大模型的不断发展以及逐渐应用到人们生产和生活中,相关的安全性和可靠性问题也日益突出,包括模型偏见、错误生成、透明性不足、安全漏洞、数据隐私等。这些安全和可靠性问题不仅产生于大模型本身,还有大模型智能体、检索增强生成、工具调用等应用范式。特别是2026年以来,随着智能体(Agent)自主权的显著提升,诸如“间接提示注入导致的级联越权操作”以及“多智能体协同中的逻辑冲突与决策失控”等新型安全风险,已成为制约其大规模落地的关键瓶颈。

如何确保大模型的可靠性和安全性成为学术界和行业亟需解决的挑战。举办这一论坛将为研究者、工程师和行业专家提供一个交流平台,分享最新研究成果、最佳实践和面临的挑战,以推动大模型技术的健康发展和应用。

该领域正获得来自各个领域研究人员的广泛关注,属于软件工程、网络空间安全、人工智能等领域的交叉学科,本论坛申请人也是来自不同研究领域。 希望借助该论坛,能够吸引到更多其他领域的研究人员关注和注册中国软件大会。

二、论坛组织委员会

  • 孟国柱   (中国科学院信息工程研究所)

  • 王俊杰   (中国科学院软件研究所)

  • 廖   鑫   (湖南大学)

三、论坛安排

日程安排:

时间:2026年11月8日,09:00~12:00

地点:天津市社会山国际会议中心酒店,四层6号多功能厅

论坛议程:

四、论坛报告嘉宾简介

1. 报告人:李晓红  教授

题目:异构平台下深度学习系统的分析与测试

摘要:深度学习框架上承模型与算法、下接硬件与平台,是大模型训练与部署的底座,其缺陷可能沿软件栈向上传导,引发上层应用的结果偏差、程序崩溃乃至内存安全问题。同时,框架广泛运行于服务器、移动终端和浏览器等异构平台,平台差异会引入特有缺陷并导致模型跨平台行为不一致。本报告围绕异构平台下深度学习系统的分析与测试展开:实证分析方面,研究框架对模型跨平台开发与部署的影响,揭示框架实现差异、模型迁移与量化带来的可靠性隐患;框架测试方面,提出基于多层次变异的缺陷检测与因果定位方法,并结合程序分析与大语言模型提取输入约束,检测Web深度学习框架中的崩溃、内存安全与计算不一致缺陷;模型测试方面,面向算力受限场景提出轻量级的公平性测试与修复方法,揭示量化对模型公平性的损害,形成从问题发现到分层测试的技术体系,为大模型底座软件的可靠性与安全性保障提供支撑。

简介:李晓红 天津大学英才教授,博士生导师,软件与信息安全工程研究所所长,天津市教学名师。主要从事可信软件理论与验证、软件与系统安全、区块链安全及人工智能模型与框架安全等领域的研究工作。主持和参与国家重点研发计划、国家基金重点等项目20余项,在包括TSE、TOSEM、TDSC、JAAMAS、FSE、ICSE、ASE、AAAI、IJCAI、IEEE S&P、ISSTA等期刊和顶级会议发表论文150余篇。其中:论文“Proteus: Computing Disjunctive Loop Summary via Path Dependency Analysis”解决了符号执行中循环处理的难题,被软件工程顶级会议FSE 2016接收,并获得ACM SIGSOFT 2016年度杰出论文奖。指导的博士论文获得2019中国计算机学会(CCF)优秀博士论文。相关技术成果获授权国家发明专利21项、天津市科技进步一等奖 1 项、三等奖1项,湖北省科技进步一等奖1项。

2. 报告人:陈恺   研究员

题目:人工智能模型安全问题与隐私风险

摘要:随着人工智能模型及智能体在产业与社会中的广泛应用,其安全与隐私风险日益凸显。本次报告将围绕人工智能模型生命周期中可能遇到的安全问题,重点讨论:人工智能模型的对抗样本及其防御技术,模型后门检测与后门的应用,大模型越狱与防御机制,以及大模型智能体安全、幻觉问题及其隐私泄露风险,例如推理过程中的用户隐私暴露,以及相关的缓解方法等。

简介:陈恺,中国科学院信工所研究员、中国科学院大学教授、博士生导师,前沿创新与科教融合中心主任,网络空间安全防御全国重点实验室副主任,《信息安全学报》编辑部主任。入选国家高层次人才计划,获得过世界互联网大会全球青年领军者、中国科学院青年科学家奖、CCF-IEEE CS青年科学家奖、北京市科技奖杰出青年中关村奖、NASAC青年软件创新奖、北京市“杰出青年”基金、北京市智源青年科学家等多项荣誉。主要研究领域包括系统安全、人工智能安全。在IEEE S&P、USENIX Security、ACM CCS、NDSS、ICSE等高水平会议和期刊发表学术论文150余篇。担任中国计算机学会-网络与系统安全专委会副主任、系统软件专委会常委、计算机安全专委会常委、人工智能学会-人工智能与安全专委会常委等。主持国家自然科学基金重大研究计划项目、重点项目等。

3. 报告人:谢肖飞   助理教授

题目:Securing AI Agents Across Context, Behavior, and Code

摘要:Large language model (LLM) agents are rapidly evolving from conversational interfaces into autonomous software systems that retrieve external information, invoke tools, access sensitive resources, and execute consequential actions. Their trustworthiness therefore depends not only on the underlying models, but also on three system-level surfaces: the runtime context they consume, the behavioral requirements they are expected to satisfy, and the software components on which they are built. This talk presents three lines of our recent research on securing these surfaces. First, I will introduce a causal-provenance-based defense against prompt injection attacks. Second, I will describe how behavioral specifications can be recovered from agent artefacts and used as test oracles to detect behavioral deviations and guide system improvement. Third, I will examine software supply-chain risks arising from vulnerable third-party libraries in agent systems. Together, these studies motivate a shift beyond model-level evaluation toward system-level assurance spanning what agents consume, what they are expected to do, and what they are built upon.

简介:Dr. Xiaofei Xie is an Assistant Professor and Lee Kong Chian Fellow at Singapore Management University. He obtained his Ph.D from Tianjin University and won the CCF Outstanding Doctoral Dissertation Award (2019) in China. Previously, he was a Wallenberg-NTU Presidential Postdoctoral Fellow at NTU. His research mainly focuses on the quality assurance of both traditional software and AI-enabled software. He has published 100+ top-tier conference/journal papers in the areas of software engineering, security and AI. In particular, he has received ten ACM SIGSOFT Distinguished Paper Awards.

4. 报告人:王浩宇    教授

题目:面向智能体软件的原生程序分析技术

摘要:随着“人工智能+”行动深入推进,工信部等近期明确提出“AI+软件”计划,将智能体软件作为软件产业智能化升级的核心形态。本报告围绕智能体软件的原生程序分析技术展开:智能体软件静态分析方面,提出面向智能体软件的原生静态分析框架AgentFlow,构建统一中间表示,实现智能体物料清单(AgentBOM)生成与污点分析;智能体软件动态测试方面,面向多形态异构智能体应用,开展黑盒交互式测试与模糊测试;智能体安全情报和自动化评测方面,构建AgentTotal威胁情报平台,并基于情报分析搭建智能体攻防测试环境与靶场,形成从静态分析、动态测试到智能攻防验证的智能体软件原生分析技术体系,为“AI+软件”战略下的智能体软件安全治理提供关键技术支撑。

简介:王浩宇,华中科技大学网络空间安全学院教授、博导,教育部青年长江学者,华中卓越学者。研究方向为新兴软件系统安全,近年共发表CCF A类论文150余篇,获北京市科技进步一等奖等省部级科技奖励三项。

5. 报告人:王喆   副研究员

题目:软硬件协同的安全操作系统内核

摘要:随着大模型能力的与日俱增,Agent驱动的自动漏洞挖掘与利用出现了突破性的进展。操作系统安全面临着严重攻防失衡的局面——漏洞变体加速涌现和时间窗口持续收窄,而关基系统打补丁存在严重延迟。为提升国产操作系统的“带菌生存”能力,我们基于商用处理器广泛提供的访问控制相关硬件能力,研发了一种核内再度分层的复式内核架构。该架构采用以数据为中心和以代码为中心相结合的混合式内核区域化分割方法,既保护内核特权资源、守住最后一道防线,又阻断高风险模块的风险扩散,从而有效阻止内核攻击的横向移动。基于复式内核架构,我们研发了面向国产处理器的安全增强Linux内核,简称HAOC内核。HAOC已经以开源代码的形式进入国产主要开源操作系统社区的主线,并在部分国产操作系统上商用。

简介:王喆,中科院计算所处理器芯片全国重点实验室副研究员,博士生导师。目前,主持和参与多项国家自然科学基金、国家科技重大项目、中科院稳定支持基础研究领域青年团队计划、中科院先导B计划、国家重点研发计划、北京市科委重大专项、国防装备研发计划等。他长期从事系统安全和计算机系统结构的研究,在包括IEEE S&P、CCS、USENIX Security、OSDI、ISCA、ASPLOS等顶级会议和期刊发表论文20余篇,并持续在安全顶会担任审稿人。曾带领团队研发了代码保护系统,部署到多个重要单位和部门,在实际任务中发挥了重要作用;带领团队研发了安全增强Linux内核,进入国产开源操作系统社区主线;参与多款二进制翻译器的研发,为国产处理器的市场化发挥重要作用。曾获安全顶会杰出论文奖和最佳论文提名奖、中国科学院大学领雁金奖、中科院计算所“卓越之星”、ACM SIGSAC中国新星奖等荣誉称号。

五、论坛组织委员会简介

1. 论坛组委会:孟国柱  研究员

简介:中国科学院信息工程研究所研究员,博士生导师,体系结构安全研究室副主任,中国科学院特聘研究岗位,北京市科技新星,ACM中国科技新星。主要研究方向包括移动安全、智能驱动的软件安全以及人工智能安全,在信息安全和软件工程领域发表论文八十余篇,包括ACM CCS、USENIX Security等CCF-A类论文四十余篇。主持和参与中科院先导,重点项目,科技部重点研发,国家自然基金项目十余项。

2. 论坛组委会:王俊杰  研究员

简介:中国科学院软件研究所研究员,博士生导师,智能博弈重点实验室副主任(主持工作),中国科学院特聘研究岗位。主要从事智能化软件工程、软件质量等方面的研究,近年来主要关注智能软件测试、面向大模型/智能体的测试和安全等。在国际著名学术期刊/会议发表70余篇高水平学术论文,荣获ICSE 2019、ICSE 2020、ICPC 2022等会议的杰出论文奖,CHI 2024最佳论文提名奖、ACL 2025 SAC Highlights等。指导学生获ACM学生研究竞赛全球总决赛冠军、中国科学院院长奖、中国科学院优秀博士学位论文等。主持和参与了多项国家自然科学基金项目、科技部重点研发计划、领域重点项目、CCF-华为胡杨林基金等。担任CCF A类期刊TSE的Associate Editor,ICSE、FSE、ASE等的PC member。

3. 论坛组委会:廖鑫    教授

简介:湖南大学教授,网络空间安全学院副院长,国家高层次青年拔尖人才。国家自然科学基金委重点项目负责人,湖南省杰出青年基金获得者。连续四年入选全球前2%顶尖科学家榜单。从事多媒体取证与安全、人工智能安全等方面的科研工作。获IEEE国际信号处理挑战赛冠军,CCF A会议和IEEE Trans 最佳论文奖/提名奖,中国产学研合作创新成果一等奖,CCF技术发明二等奖,湖南省CCF优秀成果奖一等奖。担任国际期刊IEEE Signal Processing Magazine编委,亚太信号处理学会媒体安全与取证专委会秘书长,中国电子学会电子数据取证/网络空间安全专家委员,国家网络安全产业园区特聘专家

相关学习资料