“可信AI”与虚假信息治理

以下为发言纪要：

“十五五”规划将纵深推进“数字中国”建设，以提升数智化发展水平作为核心任务之一。

《中华人民共和国国民经济和社会发展第十五个五年规划纲要》单独设置“第四篇：深入推进数字中国建设，提升数智化发展水平”，明确量化数字经济目标，提出“数字经济核心产业增加值占GDP比重达到12.5%”，其核心产业涉及数字产品制造、数字产品服务、数字技术应用、数字要素驱动等，凸显其在新质生产力发展中的核心地位。与以土地、劳动力和化石能源为关键生产要素的农业经济、工业经济不同，数字经济以数据作为核心战略资源。在技术创新、政策演进、企业需求和人才红利的共同推动下，数据的采集、流通、分析和应用能力，正在成为推动经济增长和产业升级的重要力量。

数字经济的“四化”框架是中国数字经济发展的重要内涵。第一，数字产业化。主要指信息通信产业的发展，包括电子信息制造业、电信业、互联网行业等领域。它构成数字经济的基础，为其他产业提供技术、平台和服务支持。第二，产业数字化。主要指传统产业通过应用数字技术实现效率提升和模式创新。工业互联网、智能制造、车联网和平台经济等新产业、新模式、新业态，均体现了产业数字化的深化。第三，数字化治理。主要指数字技术与公共治理、技术管理和公共服务的深度融合。数字政府和智慧城市建设，是数字化治理的重要表现。第四，数据价值化。主要指围绕数据采集、标注、分析、存储、确权、定价、交易和流通等环节形成的全生命周期管理体系。随着数据价值化不断推进，数据作为生产要素的重要性将进一步提升。

“十五五”规划已将“提升数智化发展水平”单独成篇，这标志着数字技术、数据要素与人工智能已从传统的辅助工具，上升为国家中长期发展的关键底座。对金融而言，这意味着未来金融发展的主线，不再只是金融支持数字经济，而是金融体系自身也要完成数字化、智能化、平台化重构。通过利用数据要素以及云计算、大数据、人工智能、隐私计算等技术，金融可以更精准地识别需求、更高效地配置资源、更实时地监测风险。其结果是：融资更精准、服务更普惠、风控更智能、监管更穿透。

金融数智化正在进入“模型驱动+可信治理”新阶段。金融数智化的重点进一步转向模型能力、算法治理与风险控制能力的系统性提升。金融行业天然具有高信息密度、高决策频率和高风险敏感性的特征，大模型在智能客服、投研辅助、风控识别、合规审查、运营自动化等方面具有很强的应用潜力。与此同时，政策层面对“人工智能+”的表述也正在从一般技术推进转向“大模型+垂直场景”的落地导向。金融不是一般的互联网场景，而是具有强监管、高稳健性要求的行业。随着大模型进入金融场景，除了“能不能用”，更关键的是“是否安全、可信、可控、合规”。2025年底，国家金融监管总局发布了《银行业保险业数字金融高质量发展实施方案》，强调金融机构要强化数字金融顶层设计、治理机制和风险管控，这说明未来金融智能化必须与治理能力同步建设。从“数据驱动”到“模型驱动”，从“数字化升级”到“可信化治理”，这正是“十五五”时期金融数智化演进的关键主线。

在进入大模型与可信AI之前，有必要看到金融科技创新背后的基础技术体系。大数据与云计算扩展了金融数据的采集、整合和应用边界，人工智能提升了金融分析、预测和自动化决策能力，区块链则通过分布式账本和不可篡改机制，为价值转移和信用协作提供新的技术基础。这些技术共同构成了金融AI发展的底层支撑。

大模型技术的未来必须聚焦具体应用场景，致力于打造专业、好用且可靠的行业专用大模型。要实现大规模服务产业与社会，“可信”是不可逾越的前提。然而，大模型在产业落地中正面临“可信度”的三重严峻挑战：第一，领域专业知识不足。未经系统金融专业训练的大模型，往往难以准确理解业务规则、监管要求和机构私域知识。第二，复杂决策能力不足。金融业务不仅需要文本生成，还涉及量化分析、运筹优化、精细化匹配和风险收益权衡，通用大模型难以独立承担此类任务。第三，幻觉问题与金融严谨性要求相冲突。生成式AI基于概率生成内容，可能产生虚构、陈旧或不准确的信息。在金融场景中，这类错误可能直接影响投资决策、风险评估和客户权益。

生成式AI在带来创造力的同时，也伴随着极高的“错误率”。特别是在事关财产与生命安全的敏感领域，大模型应用仍缺乏统一标准，技术成熟度存在显著差距。当前，技术创新过度集中于通识能力与多模态扩展，而对特定领域知识强化、真实性与准确性提升的关注严重不足。未来，大模型亟需向专业化、严谨化转型，跨越可信鸿沟，方能真正安全、有效地赋能产业发展。

当前，大模型“不可信”问题日益凸显，其背后潜藏着多维度的技术风险隐患。从技术根源来看，风险贯穿多个环节：数据端面临样本污染与隐私泄露隐患，算法端受制于“深黑盒”特性与概率生成的不可控性，应用端存在专业知识缺失及跨领域滥用风险，此外模型还极易遭受恶意诱导与攻击。在产业落地中，这些技术短板直接转化为现实挑战。大模型经常出现“幻觉”，输出虚构、陈旧或错误的信息，不仅暴露了专业性不足，更容易引发误导性决策风险，同时模型本身也面临着敏感数据大量泄露等安全隐患。最为严峻的是其可能触发的底线风险。一旦失控，大模型可能突破法律与道德边界，导致严重的隐私泄露、伦理争议、价值观错误导向及违法违规内容的大肆传播。因此，直击大模型的技术痛点、筑牢安全合规底线，已成为推动其健康落地与向善发展的必答题。

大模型的可信实践是一项系统工程，需要从数据、算法、应用和安全四个层面同步推进。在数据保障层面，应引入高质量、高时效的领域数据，并通过持续清洗和质量管控提升数据可靠性。在算法保障层面，应通过“大模型+小模型”的组合式架构，引入知识图谱、隐性知识和领域持续精调，提升模型的专业性与稳定性。在应用保障层面，应建立有害信息、敏感信息和错误信息的拦截纠偏机制，并结合搜索增强和Agent执行平台，提高模型输出的可核验性。在安全与隐私保护层面，应建设实时模型安全防控体系，并结合隐私计算探索密态大模型，降低敏感数据泄露风险。

大模型应满足四个维度的可信要求。第一，准确专业。大模型能够深度理解领域专业知识，结果生成与预测准确度符合领域专业要求，并与客观实际保持高度一致性。第二，真实严谨。大模型输出应能真实反映所接收数据，不被篡改与操纵，最大限度地消除“幻觉”与虚假信息，符合专业领域结果的实时性要求。第三，可控透明。大模型能够根据专业领域要求进行有效控制，其可解释性与透明度满足专业要求，以适应复杂决策执行的需要。第四，安全可靠。大模型应具备防止恶意攻击与结果诱导的能力，有效保护隐私与敏感数据，确保合法合规。

AI智能体作为数字金融深化发展的关键技术形态，能够有效缓解金融活动中的信息不对称与资源错配问题，在提升普惠金融服务可得性、提高定价效率以及增强市场交易的金融支持方面发挥着重要作用。金融业务高度依赖确定性、可审计性与稳定输出，而以概率生成内容为核心机制的大模型，在缺乏外部约束的情况下，很多时候难以独立承担关键决策职能。正因如此，组合式架构成为了不少金融机构更现实的技术选择。所谓组合式架构，并非引入更多复杂技术，而是通过清晰的技术分工来降低输出的不确定性。总体来看，金融AI的技术创新正在呈现出一个清晰趋势：从能力导向转向结构导向，从模型性能竞争转向系统可信性建设。

在真正走向业务落地的过程中，金融AI仍面临一系列绕不开的问题。首先，幻觉问题在金融场景中具有放大效应。大模型的输出，本质上并非基于事实验证，而是对“最可能答案”的概率性生成。在多数应用中，这种机制带来的风险是可接受的，但在金融业务中，任何看似合理却并不准确的判断，都可能被直接嵌入决策流程，从而影响资金配置、风险评估或客户权益。其次，数据偏见使金融AI的决策结果具有潜在的不公平性。AI通常依赖历史数据进行训练，而金融数据本身承载着长期形成的制度安排、市场选择和行为偏差。如果缺乏有效校正机制，大模型不仅可能复现这些偏差，甚至会在规模化应用中加以放大。第三，不可解释性限制了AI技术在关键决策环节的使用深度。金融决策的核心，不只是结果正确，更在于决策过程是否可被理解、复核与追责。然而，当前主流大模型大都难以提供清晰、稳定且可复现的推理路径。

传统上基于预设关键词构建的新闻媒体指数，长期面临主题精细化不足与非英语新闻追踪困难的问题。为此，我们创新性地引入事件驱动方法，通过具有新闻价值的事件触发媒体报道，从新闻文本中提炼记者隐含的主题关键词。这一方法的突出优势在于跨语言适用性。不同于先将非英语文本翻译为英语再进行词典匹配的传统做法，多语言模型能够直接处理不同语种的原始新闻文本，在各语言语境中识别与气候风险相关的关键词和语义结构。这样既减少了翻译带来的语义损耗，也避免了英文中心词典在非英语新闻中的适配偏差，从而提升全球金融风险监测的覆盖范围和测度精度。

基于2020年9月至2022年8月期间天天基金APP上99家基金公司的10671条原始直播记录，我们发现在基金产品特征上，直播更倾向于推荐管理费更高、回报波动性更大且Alpha值更高的大型基金。在投资者行为上，直播显著提升了投资者对此类特色基金的关注度。但在基金业绩表现上，特色基金通常会对投资者的相对回报产生负面影响，这种影响在混合基金和股票基金中表现出高度一致性。与传统基金研究主要依赖净值、持仓和申赎数据不同，直播文本、语音、画面和互动行为共同构成了多模态金融信息。这类数据能够揭示金融产品营销、投资者注意力分配和平台推荐机制之间的关系，为理解数字平台中的投资者行为提供了新的证据。

我们将地面气象观测与高分辨率卫星遥感数据结合，构建城市层面的极端气候风险（ECR）指数，并叠加作物分布信息，量化农作物对极端气候的暴露度。实证发现：日度作物暴露度可显著预测次日期货价格波动率，且预测效应随时间快速衰减；该预测效应无法被传统的文本型气候风险指标所吸收。这一发现表明，期货市场中的专业投资者依赖高频气候数据主导价格形成。该量化框架为气候金融研究和政策制定提供了新的分析工具，可进一步扩展至其他作物或地区，探讨气候风险的跨市场溢出效应，并考察不同投资者对气候冲击的异质反应。这一应用说明，AI赋能金融创新并不局限于金融机构内部数据，也可以通过遥感、气象和地理空间数据等外部非结构化信息，提升大宗商品定价、风险预警和气候金融决策的前瞻性。

案例一：财务舞弊识别。我们综合运用事件研究法、文本分析、复杂网络、最优规划理论和机器学习等前沿技术，构建了一套更加具体有效的财务舞弊识别框架。该框架在识别对象的确立和度量、风险因子集合的构建、识别模型的选择这三个方面均进行了改进和优化，为投资者、审计机构和监管部门提供了更加精准的决策参考。

案例二：虚假信息识别。基于“信息一致性”与“特定群体智慧”两大原则，我们使用预训练大语言模型、复杂网络及对比学习等前沿技术，探索出一套更加具体有效的企业级虚假信息动态测度框架。该框架突破了传统单一文本检测的局限，并在三个核心维度进行了方法学创新：一是客观事实的过滤与可比信息集的构建；二是基于动态信源可信度的真实信息网络基准提取；三是基于语义偏差自下而上的虚假程度综合测算。

自2019年1月习近平总书记强调“准确、权威的信息不及时传播，虚假、歪曲的信息就会搞乱人心”以来，中国持续深化网络空间综合治理。为坚决打击网络生态乱象，2022年9月，国家网信办深入开展了“清朗·打击网络谣言和虚假信息”专项行动。面对新技术带来的挑战，2023年7月，多部委联合出台《生成式人工智能服务管理暂行办法》，从制度层面完善合规监管体系。截至2024年6月，国家网信办聚焦网络虚假信息等问题，已先后开展40余项专项行动，累计清理违法违规信息超200亿条，持续推动网络信息生态治理体系完善。

当前，中国信息传播媒介正经历深刻变革。以微博、小红书为代表的图文社交媒体，抖音、视频号等短视频与直播平台，以及B站等长视频平台，共同推动信息生成与传播呈现高度多样化。同时，中国网民规模已达10.92亿（其中视频用户高达10.67亿），信息传播深度覆盖政治、经济与社会各领域。值得注意的是，以文心一言、通义千问为代表的生成式人工智能（AIGC）迅猛发展，促使信息数量呈爆炸式增长。然而，这一趋势也衍生了不容忽视的隐患：AIGC增加了虚假信息的生成便利性，导致不实内容在庞大的受众网络中呈病毒式扩散，显著加剧了潜在的极端风险。为此，针对AIGC虚假信息，建立涵盖感知、测度、预警和监管的全链路应对机制，并制定严密的合规性监管体系已刻不容缓。这不仅是健全风险全覆盖框架的关键举措，更是维护经济健康发展与社会大局安全稳定的必然要求。

在“十五五”时期，信息失真风险将更加突出，主要体现在以下三个方面。第一，金融数字化正在升级为金融智能化。国家金融监督管理总局在2025年印发的《银行业保险业数字金融高质量发展实施方案》提出，未来五年银行业保险业数字化转型要取得积极进展，数字金融治理和风险防控能力要同步提升。第二，大模型正在进入金融垂直场景。政策导向已从一般技术应用，逐步转向“大模型+垂直场景”的广泛落地。第三，金融信息天然具有“高杠杆放大效应”。一条不实政策解读、一个伪造截图、一次AI生成的误导性分析，在金融场景中都可能迅速影响市场预期、客户决策和机构声誉。证监会明确强调，资本市场具有很强的信息敏感性。

金融虚假信息的主要表现形式分为以下三类。第一，政策谣言。以“监管新规”“试点政策”“官方通知”为噱头，伪造或歪曲金融监管政策。多部门在2026年的风险提示中明确点名了“退保新政”“债务清零”等不实信息。第二，机构假消息。冒用银行、保险、证券公司名义，虚构延期还款、债务减免、全额退费等活动，利用机构logo、营业网点画面增强迷惑性。第三，AI合成误导内容。利用AIGC深度合成文本、伪造语音/视频、合成截图等方式制造“似真非真”的金融信息。《互联网信息服务深度合成管理规定》明确指出，此类技术可能被用于制作虚假信息、仿冒身份和实施诈骗。金融领域的虚假信息传播已从“文字谣言”演变为“多模态、拟真化、平台化”的立体传播格局。

需要注意的是，随着跨境金融活动和全球社交媒体传播的加深，金融虚假信息也呈现出跨平台跨语言扩散的趋势。同一虚假信息可能在不同语种之间被改写、翻译或再生成，形成更复杂的传播链条。因此，金融虚假信息治理不仅需要识别单一文本真伪，也需要借助多语言模型追踪不同语言版本之间的语义关联和传播路径。

当前，AIGC虚假信息已渗透至政治、经济、社会等诸多领域，造成了严重后果和经济损失。这一现象的泛滥有着深层的技术推手。在源头上，依托多模态融合与深度伪造技术，虚假信息的制造成本急剧降低，而其极具欺骗性的特征反而使伪造内容的“表面可信度”大幅提高。在传播路径上，恶意使用者利用AI自动化反馈、搜索引擎优化操纵以及仿真权威机构等手段，精准对抗事实核查，使得不实内容得以高效、隐蔽地裂变扩散。这种技术滥用的肆虐正带来深远的破坏。它不仅在无形中侵蚀着公众信任，扭曲了客观理性的公共议题，更进一步加剧了社会撕裂与群体冲突，不断挑战着人类社会的伦理底线。面对此类系统性风险，金融机构应构建包含顶层设计、数据治理、模型治理与内容治理四位一体的可信AI应对框架。

第一，在顶层设计方面，把可信AI纳入机构治理体系。金融机构要强化数字金融顶层设计，树立“上下一盘棋”思想，科学统筹制定发展规划，并建立相应的组织协调机制。对金融机构而言，这意味着大模型应用不能只是局部试点，而应明确董事会、高管层、业务部门、科技部门、合规与风控部门之间的职责分工，形成战略、制度、执行与监督的治理闭环。

第二，在数据治理方面，把“数据可用”建立在“数据可信”的基础之上。数据治理至少应包括四个层面：一是数据来源合规，确保外部数据、知识库和训练语料合法取得；二是数据内容准确，避免过期政策、错误文本和失真案例进入模型；三是数据分级分类，对客户隐私、授信信息、交易数据设置差异化权限；四是数据脱敏与最小必要调用，防止模型调用中发生敏感信息泄漏。只有数据源可信，大模型输出才有可信基础。

第三，在模型治理方面，在上线前后建立全生命周期管理机制。《生成式人工智能服务管理暂行办法》要求提供者采取有效措施提升生成内容的准确性、可靠性，并在发现违法和不良内容时及时处置、整改。在金融机构的具体实践中，模型治理应覆盖大模型的全生命周期：上线前要进行准入评估、场景适配测试、幻觉率与偏差测试、以及稳定性测试；上线后要持续监测模型漂移、错误率和异常输出；版本更新时要重新评估高风险场景影响。特别是在授信、投资建议、合规审查、客户投诉处理等高敏感场景，机构应设置更严格的模型准入门槛，实行白名单管理和分级授权。

第四，在内容治理方面，强化生成内容标识、核验与拦截。2025年3月印发的《人工智能生成合成内容标识办法》明确提出，对人工智能生成合成的文本、图片、音频、视频、虚拟场景等内容，应按照规定添加显式标识和隐式标识，同时平台和服务提供者在传播环节也要履行核验、提示等义务。机构需要建立专门的内容治理机制：对模型生成内容进行来源标识，对政策、投资、授信、产品适配等高风险回答设置自动校验，对疑似虚假信息、深度合成内容和误导性表述进行拦截或转人工处理。

当前，AIGC的迅猛发展在激发产业创新活力的同时，也带来了严峻的虚假信息治理挑战。面对这一新兴技术，传统监管手段正遭遇四大现实困境：虚假信息难界定、跨域传播难溯源、虚假程度难辨识、合规监管难构建。为有效破解上述难题，业界正依托“条件适应一致性学习理论框架”，积极探索破局之道。该框架深度整合了多模态大数据、集成大模型、大算力支持、多语言建模及多学科交叉融合的优势。其核心目标在于提升数字信息质量并完善监管职能，从而为AIGC虚假信息治理提供切实可行的解决方案。通过全方位赋能监管部门，该方案旨在实现对AIGC虚假信息的硬性“技术”监管与柔性“内容”治理双管齐下，有效遏制虚假信息的蔓延。

第一条主线：坚持“发展与安全并重”。2023年7月出台的《生成式人工智能服务管理暂行办法》明确提出，坚持发展和安全并重、促进创新和依法治理相结合，实行包容审慎和分类分级监管。这意味着AIGC治理不是简单限制技术，而是在鼓励创新应用的同时，防范其带来的虚假信息、数据安全和偏见歧视等风险。

第二条主线：从内容治理转向主体责任治理。现行规则不只是管内容本身，更强调服务提供者、传播平台和使用者的责任。《互联网信息服务深度合成管理规定》要求服务提供者建立内容管理、投诉举报、辟谣和技术保障机制；《生成式人工智能服务管理暂行办法》则进一步要求提供者依法开展训练数据处理、采取有效措施提升内容准确性和可靠性，并依法处置违法和不良内容。

第三条主线：从真假判断转向可识别、可追溯、可问责。《人工智能生成合成内容标识办法》提出生成合成内容应添加显式标识和隐式标识，目的不是要求所有用户都自行判断真假，而是通过标识机制提高可识别性，通过技术嵌入提高可追溯性，再通过平台核验和主体责任落实实现可问责。

第一，在源头端，生成内容强制标识。《人工智能生成合成内容标识办法》明确要求对符合条件的生成合成内容添加显式标识和隐式标识，并配套发布《网络安全技术人工智能生成合成内容标识方法》强制性国家标准图解。这意味着治理首先从“源头打标”入手，让AIGC内容在生成时就具备识别基础。

第二，在平台端，加强审核与传播管理。《互联网信息服务深度合成管理规定》要求平台建立技术管理、内容审核、投诉举报和辟谣机制；《人工智能生成合成内容标识办法》又进一步要求平台在传播环节履行核验和提示义务。也就是说，平台不仅是内容通道，更是AIGC虚假信息治理的重要责任主体。

第三，在模型端，推进登记与合规管理。对具有舆论属性或社会动员能力的生成式AI服务，依法开展备案管理，并要求已上线应用在显著位置公示所使用模型名称及备案号。这相当于把模型纳入可监管、可核查的制度框架，有助于减少匿名化、无责任主体的AIGC扩散。

第四，在使用端，提升公众识别与素养。仅靠制度和平台还不够，用户侧也需要形成对AIGC内容的基本辨识能力。现有规则通过显式标识、界面提示和产品公示，提高用户对“此内容是否为AI生成”的识别度，本质上是在制度层面增强公众的信息甄别能力。

总体来看，“十五五”时期金融数智化将从数据驱动进一步迈向模型驱动，并在金融业务重构、风险识别、信息治理和监管协同中发挥更重要作用。可信AI是金融大模型落地的前提，多模态大数据拓展了金融创新的数据基础，而多语言模型则进一步突破了传统文本分析的语言边界，使金融机构能够在全球范围内识别气候风险、市场情绪和虚假信息传播。未来，金融AI的发展不能仅以模型能力扩张为目标，更应在准确性、真实性、可解释性、安全性和责任可追溯性之间形成平衡，推动金融创新与风险治理同步提升。