之前已经尝试了用AI生成素材和操作Cocos Creator 创建和编辑场景的方法,还没有真正投入实践。
接下来就让我们从实践出发,在实践中验证和调教 AI,打磨流水线,提高自动化程度和效率,减少人工干预和工具切换,尽可能让 AI 可以独立完成工作。
🚀 实践开始
考虑到之前让 AI 生成过一套麻将素材,于是想着也不要浪费。我们先实战卡牌游戏,这里就先做一个麻将。考虑后续也可以加入其他卡牌游戏,于是一个简单的 MVP 版本就浮现在脑海中了。
这里需要:一个游戏大厅 + 一个游戏页面,两个场景。
游戏大厅可以创建房间,供大家进入游戏,类似于 QQ 游戏大厅。
游戏页面支持麻将、扑克等卡牌游戏,甚至桌游。
🎴 卡牌游戏
接着之前的麻将牌素材,我让 AI 生成了大厅以及麻将游戏素材,本次我先聚焦大厅,看到素材照想着应该比较简单,可以一举成功:

🕳️ 踩过的坑
😅 第一次尝试:理想很丰满
记得之前尝试过 cocos mcp 还原场景,就用的普通的口语描述即可,能还原个 70、80 %,于是本次我也这样做了,继续用 Codex

看起来 AI Agent 也懂了我的意思,自己也思考了,同时也开始干活了。可是结果真是一言难进:

预览黑屏不说,主要是跟我设计稿完全不一样,直接是个木地板大桌面,好歹长得得想一些吧。
⏳ 继续试错:时间都花在这里了
起初我还觉得可能是模型不行,我又换来 TRAE 和 Cursor,把 Gemini 3 和 Sonnet 4.6 又都试了一遍,基本还是一个效果。急的我都想自己上了,这么简单个场景,我分分钟都配完了。考虑到我们在调教 AI,还是忍住了。
无奈也去问了他 GPT 和豆包,GPT 给了比较悲观的结论,不适合直接做视觉的场景还原:

💡 不过同时也表达出来可以让 AI 先生成结构化描述的思路。
于是我拆分步骤,先用 AI 理解场景,再生成结构化的描述:
• 这里我先让 AI 理解我的素材,给每个素材改了对应的准确名称
• 告诉 AI 我场景的需求,让 AI 生成驾驭 AI 的结构化描述
基于指定素材,使用 Cocos Creator + MCP 架构,1:1还原横版(mahjong_room_hall_landscape.png)、竖版(mahjong_room_hall_portrait.png)两张设计图,实现通用卡牌游戏大厅。禁止做成麻将,仅使用提供的素材。【素材路径】/Users/yuanzhaoyi/Develop/github.com/Flyingon/game-asset-pipeline/output/mahjong/final/room【素材用途】blue_background.png:全局背景room_panel_background.png:大厅面板room_square_4p.png:4人桌room_triangle_3p.png:3人桌avatar_slot_circle.png:头像框action_button_create.png:创建按钮(左上角)action_button_delete.png:删除按钮(桌角)top_mail_button.png、top_gift_button.png:顶部按钮room_name_plate.png:房间信息栏【核心交互】1. 初始场景无任何桌子2. 点击创建按钮 → 动态生成桌子,多次点击可创建多张,自动网格排列3. 每张桌子包含:桌台、头像框、信息栏、删除按钮4. 点击删除按钮 → 删除对应桌子5. 横竖屏自动适配,严格还原两张设计图布局【要求】1. 由你自主设计合理、标准的 MCP 架构2. 输出完整可运行的 Cocos 节点结构、脚本、预制体3. 素材路径正确,不新增资源【自动验证】完成后输出验证报告:初始无桌、创建正常、删除正常、排列正确、UI还原、MCP清晰、代码可运行
🌤️ 终于看到点希望了
本次的还原,可以说是让我基本满意的,乍一看:90% 吧,还考虑了横竖屏切换,也按要求实现了桌子的预制体。
不过细节来看,只能给个 50分:
• 没有在场景绑定静态元素,不符合人类开发思路,都是代码动态创建的,你问他,他还有理有据,也可以帮你修改,态度还行:
🤔 不过这个我也在思考:AI 时代编辑器的用法,是不是不用追求每个元素都静态的配置。应该是编辑器发展去适配 AI,而不是 AI 适配编辑器才对?

• 基本逻辑也没有,只是还原了样式,这个可能也怪我没有提到吧
⚙️ 持续开发
项目启动时,也顺便让 AI 撸了一个后台服务,支持创建房间、加入、聊天和麻将。后台服务无非就是网络通信协议 + CRUD,这我后台开发强项啊,所以也没遇到啥太大困难。主要我把用什么协议,存储在哪里,怎么存都限制好了给到了 AI。
• 房间管理 HTTP,房间内走 Websocket
• 当前存储到 redis,用作 demo + MVP 版本够啦
接下来就是把后台服务 API 直接给 Codex,让他给我对接好当前的游戏前端。
这里没遇到啥大问题,但小问题不少,这个就是你说一个,AI 改一个吧,最后的效果就是:
最后的进展:
基本的游戏大厅功能
房间内消息广播
🧭 下一步
毋庸置疑,游戏大厅只是开胃小菜,下一步的麻将游戏才是重头戏,也是更大的挑战。我也看出来了,生成素材可以主要靠 AI,但还原场景和游戏逻辑不可能 100% 靠 AI,我也会考虑加入更多工程化的方法,不会像这次一样想要一个完美的 AI 结果而多次推倒重来。也许当前更好的做法是你一半、AI 一半,混合开发。
🧠 总结:
本想着 AI 可以一键完成大部分工作,看了还是乐观了。
当前 AI 这个牛马真是抽一鞭子走一步,还有可能走错跑偏,怪不得 AI 大厂都开始推 harness 方向了。就是要用工程思路 + 多 Agent,让 AI 自己抽自己。
要是有无限 token 的 API,我也必须得去 harness 一下,让 AI 真的变成 24 小时牛马,大力出奇迹!
说实在的,有时候看的真着急,真的想自己操作,太慢了 ! 不过我们的目的是调教牛马,一劳永逸 ~
🫤 好吧,折腾了一圈,感觉用:
Codex (GPT5.4) + Cocos MCP + 结构化提示词约束
还是可以达到不错的还原效果的,但是要注意:
1. 素材要分类和命名完整清晰
2. 让 AI 先理解素材,生成尽可能准确的结构化描述
✍️ 写在最后:
当下 AI 发展真的太快了,前年研究 prompt,去年研究 agent,今年大步进入多 Agent 时代。
问 AI => AI 自我检查 => AI 调教 AI
同时,大模型自身能力也在不断提高。可以看到的是,现在大模型在视觉理解和游戏开发上,的确做不到传统网页、APP 那么好的效果,但进步神速。
恰好我也喜欢游戏和游戏开发,奈何自身能力有限,尤其是美术素材创作。不过当前大模型刚好可以补充这一点,是个不能错过的生产力革新的机会!
夜雨聆风