做了一个AI漫剧工具后,发现最难的根本不是“生成视频”(中)

上一篇，我们聊了AI漫剧生产流水线中的7个核心Agent。做了一个AI漫剧工具后，发现最难的根本不是“生成视频”（上）

不过，随着产品不断往前做，后来发现：7个Agent只是起点，后续会有更多的Agent。比如，后面还可以继续拆出审核资产图片Agent、生首帧图Agent……

本质上，Agent拆分的逻辑只有一个：专业的事情，交给专业的Agent。

多Agent协作

但Agent多起来之后，新的问题也随之出现：这些Agent到底怎么协作？如果只是把7个Agent简单串起来，系统很快就会变成一团乱麻。

所以这一篇，我们重点聊两个东西：7个Agent背后的架构，以及我们一路踩过的坑。

5大组件：让Agent像齿轮一样咬合

我们采用的是：Orchestrator总控 + 专业Agent + 结构化中间产物 + 统一状态中心 + 质量闭环。

这五个东西缺一个，系统都会开始变得不稳定。

1.Orchestrator总控：负责“谁先、谁后”

它像一个总导演，不负责具体生产，而是负责调度7个Agent。

剧本理解 → 资产 → 分镜 → 视频 → 审核

哪个Agent先执行、哪个后执行，哪个成功后才能进入下一步，哪个失败需要重试，都由Orchestrator统一控制。

2.专业Agent：负责“把一件事做好”

每个Agent只负责自己的专业领域。这样做的好处是职责清晰、Prompt更容易控制，也方便单独优化和替换模型。比如后面想换生图模型，不需要改整个系统，只需要调整对应的Agent。

3.结构化中间产物：负责“把结果传下去”

Agent之间不直接传一大段自然语言，而是通过结构化数据交接。比如资产有统一的资产ID、描述、Prompt、参考图，分镜有统一的分镜文本、画面描述、资产ID等。

这样下一个Agent拿到的不是：“上一个Agent说了什么？” 而是：“上一个Agent最终确定了什么？”

4.统一状态中心：负责“记住做到哪了”

一个漫剧可能有几百个资产、上千个分镜，不可能一次性全部跑完。

状态中心记录每个任务是待处理、生成中、成功、失败还是重试中。所以某个环节失败了，可以从失败的位置继续，而不是整条链路重新跑。

这件事情看起来很“工程”，甚至不像AI产品。但真正做过AI生产系统之后会发现：状态管理，很多时候比Prompt更重要。

因为AI最大的特点就是——它不是100%可靠的。你不能只设计“成功以后怎么办”，还要提前设计：失败以后怎么办。

5.质量闭环：负责“发现问题并自动处理”

AI生成不可能100%成功，所以我们把审核Agent放进生产链路：生成 → 审核 → 失败重试 → 再审核 → 通过

最终形成一个自动纠错的闭环。这里需要注意重试必须有上限，否则会陷入死循环，还浪费token。

总控+分支

这套架构最大的优势，其实就三个：

第一，稳定。每个Agent各司其职，减少“一锅炖”带来的上下文混乱。

第二，可扩展。后面想替换生图模型、生视频模型，只需要调整对应Agent，不需要推倒整个系统。

第三，可规模化。从一部剧扩展到几十部、几百部时，任务可以拆开并行执行，失败也可以局部重跑。

所以我们最终的目标，并不是：做7个很聪明的Agent。而是：把7个Agent组合成一条稳定、可追踪、能自动纠错的AI漫剧生产流水线。

避坑指南：那些让我们长记性的教训

架构想得很丰满，落地却很骨感。真正开始做以后，坑比想象中多。

坑1：Agent之间不要传“聊天记录”

这是做Agent产品非常容易犯的错误。比如：

Agent A：“我觉得这个人物应该是一个30岁左右的男性……”然后把这段话直接传给Agent B。Agent B再自己理解，看起来很智能。但实际非常不稳定。因为Agent B理解的东西，可能和Agent A不一样。

所以：Agent之间绝不能靠自然语言沟通，而是靠结构化中间产物沟通。

上一个Agent输出什么，下一个Agent就消费什么。减少二次理解，也就减少了信息漂移。

这也是为什么在多Agent系统里，结构化输出非常重要。类似的工程实践已经证明，严格Schema约束能够显著提升多步骤工作流中数据交接的可靠性。

坑2：一定要有统一状态中心

当你的流程只有：剧本 → 角色 → 视频，其实问题还不大。

但当一个项目开始同时跑几十个角色、几十个场景、几百个镜头时，问题就来了，比如：

第27个镜头生成失败了
第38个镜头审核不通过
第52个镜头正在生成
第73个镜头已经完成
第91个镜头需要重新生成

如果没有统一状态中心，整个系统很快就会失控。所以一定要给任务一个明确的状态。

这件事情看起来特别“工程”，甚至不像AI产品。但真正做过AI生产系统以后就会发现：状态管理往往比Prompt重要。

因为AI天然存在不确定性。你不能假设：“模型一定成功。”你必须设计：“模型失败以后怎么办。”

坑3：放弃打造“超级导演”的幻想

早期很容易产生的想法：“现在模型这么强，为什么不直接做一个导演Agent？”

上传剧本，然后输入自然语言：“请帮我把它做成一部漫剧。”

理论上非常美好，实际非常容易失控。因为剧本理解、资产提取、分镜设计、图片生成、视频生成，本质上是不同的问题。它们需要不同的：Prompt、上下文、工具、输出结构、质量标准、重试策略。

所以我们最后选择了：专业Agent，而不是万能Agent。

坑4：分镜不是把小说切成几段

这是另一个非常容易低估的问题，最开始很容易理解成：一段剧情 = 一个分镜。

后来发现完全不是。比如：李玄推开房门，看见苏晚站在窗边。他愣了一下，随后缓缓走了过去。

从文学角度看，这是一句话。但从导演角度，至少可以拆成：

镜头1｜远景：李玄推开房门，交代空间关系。

镜头2｜中景：苏晚站在窗边。

镜头3｜近景：李玄看到苏晚后的表情变化。

镜头4｜跟拍：李玄缓缓走向苏晚。

所以分镜Agent真正解决的不是：“怎么把文字切开。”而是：“怎么把文学语言转换成可执行的视觉语言。”

坑5：不要把所有问题都交给大模型

做AI产品特别容易出现一个误区：看到什么问题都想用LLM解决。但实际上不是所有问题都适合LLM。例如：

LLM适合解决：剧本理解、人物关系、情节分析、资产提取、分镜规划、Prompt生成、语义审核

规则/轻量模型更适合解决：图片是否生成成功、人脸是否异常、肢体是否明显畸变、视频是否符合时长要求、API是否超时、文件是否存在

所以我们的审核Agent，本质上不是再让一个大模型“看一遍视频然后发表意见”。而是通过规则 + 轻量模型先筛一遍，大模型负责更复杂的判断。

一句话总结：能用规则解决的问题，就不要用大模型。这不仅更稳定，也更省成本。

坑6：不支持“局部重试”的产品根本没法用

这是AI产品和传统软件产品非常大的区别：

传统系统：输入 → 稳定输出。

AI系统：输入 → 可能成功，也可能失败，也可能生成一个“看起来成功但实际上不能用”的结果。

比如一部剧已经生成了100个镜头，第87个镜头失败。你不能让用户：“重新生成整部剧。”

这会直接把用户逼疯，所以产品必须支持：局部失败、局部重试。例如：

只重新生成第87个镜头，甚至：第87个镜头的场景没问题，只重新生成某一帧。

这时候你会发现：任务粒度决定了产品能不能真正用于生产。

坑7：质量控制不能放在最后

一开始我们也想过：“所有内容生成完成以后，人工统一审核。”

但很快发现这根本不可行。如果只有10个镜头，可以。100个呢？500个呢？1000个呢？

所以必须把审核前置，我们的思路是：生成 → 机器质检 → 筛掉明显坏片 → 人工审核 → 反馈重生成。

比如图片生成后，先检查：明显人脸异常、肢体畸变、图片损坏

视频生成后再检查：时长是否正常、是否违反物理规律、是否出现穿模

这件事情的价值不是“让AI替代人工”。而是：让人工只看值得看的东西。这才是真正的提效。

小结

这一篇，我们重点聊了7个Agent背后的协作架构，以及实际落地过程中踩过的几个坑。

说到底，AI漫剧真正难的不是“Agent够不够多”，而是怎么让一群Agent稳定地把事情做完。

Agent能协作，只是自动化的第一步。下一篇，我们继续聊聊人机协同如何真正实现自动化，以及AI做完之后，如何通过复盘不断变得更好。