FlagOS技术工作坊:当AI开始“自己部署自己”,大模型基础设施进入“无人驾驶”时代

让 AI 自己去写算子、自己去部署模型、自己去迁移适配，甚至自己去处理那些最琐碎的环境报错，这一切，在第八届北京智源大会的“FlagOS 技术开发工作坊”真实上演。

这场持续一整天的活动，不仅完整呈现了 FlagOS 在编译器优化、端侧使能、中间表示层、量子计算、LLM Agent 自动部署、算子自动生成等多个维度的最新进展，更为为现场开发者全面部署了真机实操环境。从基于 Triton-TLE 手写高性能算子，到使用 KernelGen “一句话”生成算子，开发者可以现场实操，并有智源技术专家进行指导，真正实现学完能用、听完能落地。

北京智源人工智能研究院 AI 系统研究团队负责人门春雷在开场演讲中指出，大模型爆发带动底层编译器、算子开发人才需求激增，但系统软件门槛高、从业者稀缺。看似枯燥的底层软件，直接决定 Token 成本高低——高效统一的系统软件栈能大幅提升硬件利用率，降低算力开销。本场工作坊实现技术深度下沉，覆盖从芯片层到上层模型的完整链路，期望开发者能达成三层收获：看懂底层软件价值、掌握实践落地路径、进阶优化现有开发流程。

Triton-TLE：不烧脑也能写出高性能 SparseMLA

北京智源人工智能研究院编译器研究员郭晖分享了如何用 Triton-TLE 轻松写出高性能的稀疏注意力算子 SparseMLA。

随着大模型上下文长度飞速增长（从几K到百万甚至千万），Attention 的 O(N²)计算复杂度成为瓶颈。DeepSeek Sparse Attention 让每个 Query 只从完整 KVCache 中取出少量 TopK Token 参与运算，但这些 Token 位置不连续，导致实现高性能算子面临三大挑战：缓存不友好（无法大块连续 load）、计算维度宽（Value 维度 512 加尾部共 576，寄存器压力大）、调度困难（load 与计算单元串行，利用率低）。

郭晖介绍了 TLE（Triton Language Extensions）的三个层级：Lite（轻量级扩展，一次编写到处运行）、Struct（架构感知扩展，可显式控制存储层级）和Raw。他重点展示了 TLE Lite 新增的核心抽象——Tle.pipe。通过生产者-消费者的编程范式，开发者只需声明 Pipe、调用 acquire/commit/wait/release 等 API，编译器便自动完成 mbarrier 分配与同步管理，“心智负担大大降低，出错的概率会大大减小”。

代码对比显示，手工 Pipeline 方案夹杂大量 barrier wait/arrive 和 phase bit 逻辑，而 TLE 版本只需声明三个 Pipe（Qpipe、KVpipe、Scorepipe）对应三条数据传输链。实测在 NVIDIA H800上，TLE Pipeline 版本相比原生Triton Baseline 获得 1.9 倍到 2.1 倍加速，达到 DeepSeek 官方 Flash MLA 90% 以上的性能，同时代码量减少 60% 以上。这套代码无需修改即可跑在 AMD 及国产 GPU 上。

在现场实操环节，郭晖邀请开发者基于 TLE 的 Tle.pipe 抽象现场编写 SparseMLA 的核心流水线逻辑。技术专家巡回指导，帮助参与者理解生产者-消费者编程范式如何替代繁琐的手动 barrier 管理，并解答 Pipe API 使用、同步机制等具体问题。

FlagOS on Arm64：端侧AI的使能与性能优化

北京智源人工智能研究院性能优化工程师赵帅分享了 FlagOS 在 Arm64 CPU 上的使能与性能优化实践。这是一场带有“真机实操”的演讲，他在台前摆了 4 台接有开发板的显示器，每个开发板都已预装好 FlagOS 端侧环境，邀请观众亲身上手体验。

赵帅指出，端侧 NPU 算力正快速提升，今年预计达 100TOPS，但以往 NPU 软件栈多以闭源为主，模型转换受限、模型大小受限制。随着越来越多厂商推出基于开源编译器的实现，FlagOS 推向端侧的时机已到。他们重点关注此芯的 Arm v9 平台（支持SVE2） ，以及 RISC-V 平台和高通机器人平台。

在 FlagTree CPU 的实践中，他们基于 Triton CPU v3.3 版本（后续将演进到 3.6）进行了扩展。赵帅指出，直接复用 Triton CPU 的线程模型，模仿 GPU 的 CMP 模式，在 CPU 上性能下降明显，每次调用只处理一小段数据，8个 core 不停调度，每次 Token产生约 3500 次调用。他们的解法是通过 TLE 扩展将计算和线程管理“下沉”到 Kernel 内部，让 CPU 处理连续的大块数据，避免 Python 到 C 的频繁调用，并尽量进行算子融合。

在优化手段上，绑大核、设置线程数（与大小核一致）、让线程忙等不休眠、钉在物理核上等线程管理优化带来 40% 以上收益。在算子层面，INT8 GEMM 加速达 519 GOPS，RMSNorm 提升 1.5 倍，SwiGLU 提升 40%，GEMV 相比 ARM ACL 再提升 30%，FlashAttention 相比 ATen 提升 9 倍。最终，在 INT8 量化下，MiniCPM 和千问 1.7B 模型的推理性能达到 Llama CPP 同水平的 70%-80%。

FlagTree 编译器：实现大模型 Day0 多芯片适配

北京智源人工智能研究院编译器研究员肖航以《从算子全覆盖到性能突破：FlagOS 如何打通大模型推理优化最后一公里》为主题，完整拆解了 FlagOS “编译器-算子库-模型”协同优化体系：

• Day0 极速适配能力：DeepSeek V4 发布当日，FlagOS 即完成 10 款芯片全覆盖，依托 FlagGems 600+ 跨芯片算子库和 FlagTree 统一编译器，快速完成 FP8 Matmul、Sparse Attention 核心算子的深度调优。

• 多层算子优化路径：从算法层算子重构（Fused MoE 分组计算、混合精度访存压缩）、FlagOSTune 自动调优到编译器三层协同提效，Fused MoE 最高提速 1.87 倍，FP8 量化算子性能翻倍。

• FlagTree 编译器核心优化：新增自动 Layout 消除、循环展开+指令重排、 Warp Specialization 流水线等 Pass，大幅削减张量转换开销，多款主流量化算子实现最高 2.2 倍加速。

• 路线规划：FlagGems 算子规模将拓展至 2000 个，完善 MegaKernel 算子融合、全链路混合精度支持，持续扩充国产芯片适配矩阵。

FlagIR 统一中间表示：打通 GPGPU 与 DSA 编译通路

北京智源人工智能研究院 AI 编译器研究员郑杨详细阐述了统一编译器 Flagtree 在多后端接入上的核心基建。为了避免 Triton 生态在各个厂商间发散，Flagtree 采用单仓库多后端策略。

对于 GPGPU 类芯片（如英伟达、摩尔、海光等），可直接复用 Triton GPU IR路线；但对于 DSA、NPU 类芯片（如昇腾、清微等），与英伟达架构差异大，原有开源基建不足。为此，团队发展出以线性代数表示为基础的 FlagIR 中间表示层。FlagIR 负责从 TTIR 到中间层的转换，支持结构化/非结构化访存和张量计算，打通了 DSA/NPU 接入 Triton 生态的桥梁，并完美支撑了 TLE 语言扩展的编译降级。

FlagQuantum：量智融合加速AI训练与推理

北京智源人工智能研究院量子与 AI 融合系统研究员柳伟首先介绍了量智融合。量子计算具备指数级加速潜力，但当下量子算力稀缺，需用经典 AI 芯片模拟，带来指数爆炸与跨节点通信难题。

FlagQuantum 的解法是“量智融合”异构协同框架——不试图让量子计算机取代经典计算机，而是让其作为协处理器（QPU）嵌入神经网络。其两大核心技术：

一是动态二维切分。 在多 GPU 分布式模拟中，跟随量子线路实时数据流变化调整切分策略，将跨节点的昂贵通信开销降至最低。在 32 卡规模下性能提升曲线依然陡峭，而静态切分方案（如 cuQuantum）早已陷入“规模墙”。

二是可逆梯度方法。 利用量子门的酉矩阵可逆性，在反向传播时重计算中间态，避免缓存每层结果，稳定带来 2 到 4 个可训练量子比特的收益，打破“层数墙”。对于含噪声环境，还支持参数移位（两次前向传播）计算梯度。

柳伟强调，FlagQuantum 是目前首个能够统一调度国产 AI 芯片（海光、摩尔线程等）以及国产量子芯片的 AI 框架，基于 PyTorch 生态构建，支持 OpenQASM 2.0/3.0 跨平台导出到真实量子计算机（IBM、本源等）。他还展示了对国内不同量子云平台的测评——通过增加量子线路深度，真实反映各平台在噪声环境下的表现差异，并澄清了“真机推理精度高于模拟器”的偶然现象（小数据集下的统计波动）。

LLM Agent 实现 AI 推理系统的自动分层构建与迁移部署

北京智源人工智能研究院 AI 系统软件研发工程师石浤澔提出，AI 推理软件栈的难点在于组合部署时的"集成摩擦"。借鉴 OS 与 TCP 分层隔离思路，FlagOS 将适配复杂度从"M × N"压缩为"M + N"。

基于此，团队构建了 FlagRelease 系统，用状态机驱动而非让 Agent 自决状态切换，定义了 13 步全自动流水线。针对 Agent 的不确定性，系统借鉴 OSD 的 OOM 做降级容错，引入独立外部验证杜绝造假，并以多层沙箱和 32 条约束规则管控权限。最终，单模型迁移仅需 100 元 Token 费、92 分钟，相比资深工程师人工的 2-3 天大幅降本。

KernelGen：从"像素级调优"到"一句话生成"的算子革命

北京智源人工智能研究院系统智能研究组研究员韩冬煦分享了 FlagScale Agent 在训推迁移领域的系统级创新。他指出，算子开发需要软硬件、数学、编译器四门学科交叉，且需适配多款芯片，时间消耗爆炸。而 KernelGen 2.0 内置了十余年算子专家经验沉淀的知识库，让 AI 像"老师傅带徒弟"一样按既定目标生成算子。

在 LayerNorm 算子的真实对决中，KernelGen 用 14 分钟、1 万 Token 完成，性能达专家手写的 1.14 倍；而主流 AI 助手用 35 分钟、2 万余 Token，性能仅为 0.6 倍。他介绍，KernelGen 已适配昇腾、海光等多款芯片，支持自然语言描述需求，自动完成正确性与加速比测试。

为了让开发者直观体验这一生产力变革，韩冬煦现场演示了在 KernelGen 平台用自然语言生成 ReLU 算子并跑出 1.18 倍加速比的过程。随后，现场开发者纷纷登录 kernelgen.Flagos.io 平台进行实操，尝试用“一句话”生成适配不同芯片的算子，智源技术团队则在现场随时解答参数配置与性能调优的疑问。结合智源大会期间举办的“48 小时算子赏金挑战赛北京站”，现场实操氛围推向高潮。

FlagScale Agent：大模型训推迁移进入"无人驾驶"时代

北京智源人工智能研究院 AI 框架研究员曹州针对训推迁移的长链路痛点，分享了 FlagScale Agent 在训推迁移领域的系统级创新。

曹州指出三大产业痛点：算法研究员手搓模型后需专业 Infra 人员迁移到高效引擎（Megatron、vLLM等）；算力芯片碎片化，插件适配仍需人工完成模型适配、算子替换、性能调优；上游框架频繁更新，版本回归测试和适配修复持续消耗人力。而 FlagScale Agent 带来了两大创新：

一是约束编译执行。 与通用 Skill 不同，FlagScale 的 Skill 不是“建议”而是“约束”。通过 YAML 格式定义触发条件、检查逻辑和纠正措施，在运行时形成 Guard 门控系统。Guard 分三级：注入提醒（连续错三次时提示）、拦截 action（连续错五次时阻止执行）、等待人类指令（问题无法解决时交接）。Guard 触发分两阶段：先用正则快速拦截（无 LLM 开销），再用 LLM 精确判断。

二是渐进上下文压缩。 实时监控 Context 使用量，35% 时触发压缩，75% 预警，85% 强制压缩。通过“内容价值感知”——实验错误永不压缩，安装日志只保留 200 字组——保证长任务中 Agent 保持“记忆在线”。压缩比从 60% 逐步降至 35%。

对比测试中，FlagScale Agent 在英伟达与沐曦两平台间做精度对齐，全程无人工介入跑完 100 步实现收敛（diff 0.12%）；而 Claude Code 中途跑偏需人工拉回，仅跑 10 步（diff 9.14%）。未来 FlagScale Agent 将上线 Skill 自进化路线——Skill 不再由人写，而由 Agent 自主产生。在实操环节，开发者们也现场体验了配置 LLM API 并启动 FlagScale-Agent，观察其如何自主拆解任务、进行跨芯自动迁移。

vLLM-Plugin-FL Skills：把"老手经验"变成可执行代码资产

北京智源人工智能研究院大模型推理优化工程师朱瑞迪以 vLLM-Plugin-FL 为例，介绍了如何用 Skill 化解环境安装、版本升级、模型迁移三大繁琐环节：

• 环境安装 Skill：自动解析多硬件依赖，新人十余分钟从零搭建完整推理环境；

• 版本升级 Skill：解决 vLLM 高低版本代码冲突，自动完成补丁适配与回归测试；

• 模型迁移 Skill：自动移植模型代码、校验 Token 级推理精度，规避人工漏改、精度失效问题。 区别于固定脚本，Skill 具备自主推理、异常泛化能力，把团队口头经验转化为可执行代码资产，大幅降低对资深工程师依赖，实现模型迁移轻量化、一键化落地。

现场，开发者跟随指导，实操调用了这些开源的 Skill，切身体会了“解放双手”的工程快感。

纵观全天的 FlagOS 技术开发工作坊，一条清晰的脉络浮现出来：FlagOS 正在从"提供若干正确的单体组件"，转向"用AI让这些组件在真实场景中协同运转"。

全天高密度的理论拆解与手把手的真机实操交织，让这场工作坊不再是纸上谈兵。一方面，Triton-TLE、FlagTree CPU 扩展与 FlagIR 编译器基建，展示了打通多芯片孤岛、榨干硬件性能的硬核底力；另一方面，FlagQuantum、FlagRelease、KernelGen、FlagScale Agent 与 Skills 库，则用 AI Agent 接管了繁杂的迁移、适配与算子生成工作。

当底层编译器、量子协处理器、Agent 编排器与 Skill 库共同构成一张可持续演进的软件栈图谱，AI 系统软件的"无人驾驶"时代，正从这一场工作坊走向更广阔的产业现场。

关于众智FlagOS社区

为解决不同 AI 芯片大规模落地应用，北京智源研究院联合众多科研机构、芯片企业、系统厂商、算法和软件相关单位等国内外机构共同发起并创立了众智 FlagOS 社区。成员单位包括北京智源研究院、中科院计算所、中科加禾、安谋科技、北京大学、北京师范大学、百度飞桨、硅基流动、寒武纪、海光信息、华为、基流科技、摩尔线程、沐曦股份、澎峰科技、清微智能、天数智芯、先进编译实验室、移动研究院、中国矿业大学(北京)等多家在 FlagOS 软件栈研发中做出卓越贡献的单位。

FlagOS 是一款专为异构 AI 芯片打造的开源、跨芯系统软件栈，支持 AI 模型一次开发即可无缝移植至各类硬件平台，大幅降低迁移与适配成本。它包括大型算子库、跨芯AI编译器、并行训推框架、跨芯通信库等核心开源项目，致力于构建「模型-系统-芯片」三层贯通的开放技术生态，通过“一次开发跨芯迁移”释放硬件计算潜力，打破不同芯片软件栈之间生态隔离。

官网：https://flagos.io

GitHub 项目地址：https://github.com/flagos-ai

GitCode 项目地址：https://gitcode.com/flagos-ai

SkillHub: https://skillhub.flagos.io