从零开始:给AI助手装上＂小说转动漫＂超能力(一)

你有没有想过，把你追的网文自动变成一段AI动漫视频？

现在AI视频生成能力已经很强了（可灵、Vidu、豆包），但从小说到视频的链路是断的——需要人工拆分镜、写提示词、选模型、拼接……

所以我打算给OpenClaw写一个Skill，让它自动完成”小说文本→分镜脚本→AI视频”的全流程。

一、为什么选OpenClaw做这件事

Skill机制天然适合这种多步骤pipeline。

小说转动漫不是一个API调用能搞定的事——它是一条长链路：解析文本→拆场景→生分镜→生成视频→拼接成片。每个环节都有不同的模型、不同的参数、不同的容错逻辑。如果用传统脚本写，你会得到一个几千行的巨型文件，改一个环节牵一发动全身。

OpenClaw的Skill是模块化的。每个环节可以是一个独立的能力单元，Agent自己决定什么时候调用、怎么组合。场景拆分、分镜用豆包，视频生成用可灵——Agent自己编排，不需要你硬编码调用顺序。

Agent有判断力，脚本没有。

举个例子：一段小说写”两人在雨中对视良久”。纯脚本只能机械地把这句话扔给视频API。但Agent能判断——这是一个情绪镜头，应该用慢镜头、特写、5秒以上时长，可能还需要配一段钢琴BGM。这种”理解意图→做出决策”的能力，是Agent相比脚本的本质区别。

同样，当视频生成失败（超时、比例不对、画面崩了），Agent可以自己重试、换参数、甚至换模型。脚本只会报错退出。

一次开发，所有人用。

写成Skill之后，我可以放到任意环境、多种agent调用。丢一段小说进去，Agent自动跑完全流程。不需要懂API、不需要会写prompt、不需要装ffmpeg——Skill把这些全封装了。

前面几篇文章的读者可能知道，我已经在OpenClaw里接了可灵v3、Vidu Q3、豆包Seedance等视频生成API的测试Skill，对这些API的能力边界、参数限制、踩坑点都比较熟了。角色一致性可以用可灵的element（主体）功能。图像生成有豆包Seedream和Gemini。拼接用ffmpeg。积木都在桌上了，现在要做的就是把它们搭起来。

二、整体架构设计

整个流程分为六个环节：

小说文本输入    ↓① 章节解析 & 场景拆分    ↓② 分镜脚本生成（LLM）    ↓③ 角色一致性管理    ↓④ 视频提示词生成    ↓⑤ 调用视频生成API（可灵/Vidu/豆包）    ↓⑥ 视频拼接 & 配音配乐    ↓最终输出：完整动漫视频

三、技术选型

LLM： 国产大模型对中文的理解和润色比国外的更强，所以我选择用豆包或者GLM。这一部分可以不用最新版本的模型，因为最新版本基本都是用coding、agent的数据进行训练的，对于文本没有多少提升。

视频API： 豆包的seedance2.0至今也没有开放对外API，所以我选择用可灵V3。前面实测过，Vidu Q3效果上还是不如可灵，当然可灵更贵一些。

图像生成： 这里也选择可灵，目前可灵提供了一整套包含主体、配音、分镜等能力，图像和视频可以一起使用。

配音： 前期先让可灵自己生成音效试一下，效果不好再单独加配音。

四、角色生成

为了避免前期文字比较无聊，本期先把男主做出来。这个是一次性的，所以可以前置。

我直接粘贴的小说原文，随便找的一篇网文，对于男主是这么描述的：

“约莫二十来岁的样子，个子很高，就是有点瘦。脖颈修长，锁骨凛冽，整张脸的轮廓形成一种很奇妙的柔和感，挺直的鼻子却又添了几分棱角。最特别的是那双眸，眼睛细长，眼角深邃”

由于我们是要做动漫，而且需要生成正面、侧面、蹲下这些主角的图片，所以把Prompt改为：

动漫效果，约莫二十来岁的样子，个子很高，就是有点瘦。脖颈修长，锁骨凛冽，整张脸的轮廓形成一种很奇妙的柔和感，挺直的鼻子却又添了几分棱角。最特别的是那双眸，眼睛细长，眼角深邃。生成四张图片，分别是：1、全身正面像、2、全身左侧面、3、全身右侧面和4、蹲下时的斜侧面。

经过大概二十多次请求（价格后面再说），以下是四张图片，看起来还行（女主角等等吧，几十章之后才出现= =）。你可以选择在一张图片里有四个姿势，也可以选择生成四张图片，反正效果差不多。

把这四张图片调用可灵的”创建主体”接口，接口需要传图片的url，上面生成图片时直接把url返回给你了，直接塞在这个接口里，最后获得了一个element_id（猪脚），在视频生成的接口里可以使用了。

五、章节解析 & 场景拆分

这一部分需要多次调试，因为我们要人工决定本次输入的文本——不能太长（可灵一次视频最长15s，我们要精简下段落，保证让它逻辑清晰，在时间内完成演绎），不能太短（浪费钱……），所以要调试好提示词，少对话，多动作，不然整个动漫太长了，根本写不完。

我本次先调试下Prompt和视频生成的效果，所以先拿小说的第一章节（大约3000字）输入给豆包让它进行润色和精简，提示词：

精炼这段文本，我需要把这段文本改为动漫作品，并在15s的AI视频中可以体现完，文本重点是有男主角和其他人的对话，无男主的其他人的对话可以忽略，并且添加分镜头的场景描述和时间，注意把主角名字替换成<<<element_1>>>：小说第一章内容

最后生成了这段内容：

动漫风格，现代，【场景】初夏，半山腰休息区，旁有简易摊位，摆放泡面、矿泉水、茶叶蛋、玉米等，<<<element_1>>>站在摊位前，远处可见陡峭山径

【镜头1｜全景转中景 0-3秒】一队戴统一帽子的游客抵达平地休息，领头焦队身形健硕，队员围在身旁。焦队：前面就是老牛背，先在这歇歇吧。

【镜头2｜近景 3-6秒】两位女生走到<<<element_1>>>摊位前，<<<element_1>>>正煮着茶叶蛋。女生：来两个鸡蛋，两瓶矿泉水。<<<element_1>>>说：好的，一共八块。

【镜头3｜特写转中景 6-9秒】女生剥开茶叶蛋，香气扑鼻，两人惊讶对视。女生：哇，怎么这么香！老板，你里面没加什么怪东西吧？<<<element_1>>>说：加了点香叶、菊花和甘草，放心吃。女生小声嘀咕：晚上回去就试试，他还挺帅的。

【镜头4｜近景 9-12秒】女生拿出手机想给<<<element_1>>>拍照。<<<element_1>>>说：别照相！不我可不想当网红。两位女生忍不住笑出声。

拿去喂给可灵，生成了这个视频：

可以看出来效果还可以，但是有很大问题——语音错乱，应该是对话太多，在15s之内很难对话完。而且主角貌似有点变形。等我调试下，在下篇文章中会放出完整的、可以让OpenClaw自动化精简的提示词。

六、系列文章预告

• 第一篇（本篇）： 角色生成，场景拆分初次尝试
• 第二篇： 场景拆分+分镜脚本生成——如何让AI读懂小说的”镜头语言”
• 第三篇： 尾帧切图+拼接两段视频——如何自动切尾帧，并且让下一段视频符合文本逻辑
• 第四篇： 配音、字幕调试
• 第五篇： 一键成片，完整Skills输出