腾讯云游戏架构师林哲:怎么用AI Agent开发小游戏?

AI进入游戏研发领域已经有很长时间，但对于绝大多数人来说，尤其是没有任何基础的普通人，真正想要通过AI工具做游戏研发仍然有不低的门槛。

随着AIAgent的成熟，非专业人士研发游戏也成为了可能。在近日举行的“腾讯云AI产业应用大会·游戏专场”活动上，腾讯云游戏行业架构师 林哲做了题为“基于AI Agent的小游戏开发实践”的演讲，他通过研发痛点分析的方式，介绍了腾讯云旗下的AI Agent解决方案，并演示了从一个想法，到一个可玩原型的全过程。

以下是Gamelook整理的完整演讲内容：

林哲：

大家好，我是来自腾讯云游戏行业的架构师林哲，接下来我们把重点转到研发，为大家分享一下基于AI Agent的小游戏开发实践。

我们会先讲一下现在研发流程中的痛点，基于这些痛点我们在AI支持下带来的思路转变。当然最重要的是如何基于现在有的AI产品完成整个研发流程的落地。

AI带来的思路转变

首先我们来看第一个部分的内容。游戏研发是一个团队协作的过程，包括了策划、技术以及美术等相关的工作，策划需要在前期做玩法的完善和补充，技术需要做技术选型工作以及搭建前期技术框架、完成技术开发，美术需要根据游戏内容和风格做美术风格设计、生产前期的美术资产。

整个研发过程中，团队内需要反复磨合与沟通，自然产生了流程上需要协同和等待的过程，这就会带来很大的事件和人力成本的挑战。往往从有一个游戏原型到真正做出来一个demo，可能需要数周甚至过月的时间。当然这还不是最致命的，最致命的一点是，大家知道游戏玩法的验证是有风险的、不固定的。如果一个玩法最终验证为不好玩或者需要重做，那么我们前期做的努力都可能造成浪费，所以会有很大的沉没成本。

其实最大的一个问题是，在我们的核心玩法MVP完成验证之前，我如何能够减少前期投入？这里最理想的想法是，我能否在前期这个阶段减少参与的人数，让少数人就能完成原型的验证，这样就能完成沟通磨合的闭环，这样创意被推翻重来导致的沉没成本是可控的。

基于我们的AI产品，我们现在有一个比较好的方式用到前期研发以及创意验证的过程。在游戏的原型验证以后，我们再去考虑如何使用引擎以及技术落地的事情。

从游戏设计到原型

接下来分享我们一个AI的产品，完成从游戏设计到游戏原型的过程。这里会使用到我们的一个AI产品Workbuddy，它能够提供一站式的解决方案，解决过程中我们遇到的策划、技术以及美术等相关挑战。

首先看什么是Workbuddy，它是年初龙虾概念之后我们推出的一个产品，它覆盖了全行业的各种岗位，以及大部分的工作场景。大家在使用AI的时候可能会有一些痛点。一个是可能会觉得AI很强，但我们在使用时不具备某一个领域的知识，造成我不知道如何去更好的使用AI得到我想要的结果。

针对这种情况，Workbuddy推出了一个专家中心。所谓专家，顾名思义，就是沉淀了各个岗位的技能，就是它的知识库以及Skill，我们就可以通过跟专家的交流得到一个期望的结果。有时候我们的工作不是靠一个专家就能解决，可能需要多个专家协同配合去打造一个工作流，让多个专家协同帮我们更快地完成日常工作。

针对游戏，Workbuddy也提供了很多的能力，比如说日常中的策划岗位，其实也有很多的细分，例如玩法、世界观，数值等等，并不是个单一的岗位。使用Workbuddy可以用自然语言进行策划案的沟通，不断通过交流和迭代去完善整个策划案的过程。其实也可以选择细分方向的设计师让它完善我的设计细节，最终能够得到一个很好的策划案结果输出。

这里是一个具体的使用场景，我想要做的是一个横版射击游戏，但我缺乏这个领域的策划知识，我希望与这个领域的专家进行设计的沟通，他能够给到我一些方向，跟他的沟通能补充游戏的一些细节。比如这里专家会给我讨论游戏的节奏、难度定位、美术风格等等。

再跟他的沟通中，我就能不断地了解自己想要做什么样的东西，最终把它形成一个很完整的策划案。

这就是通过很多轮的沟通之后，Workbuddy给我生成的一份策划案，包括游戏的世界观、关卡设计、操作方式、武器、怪物设计、UI等元素。

通过跟Workbuddy专家沟通，我们可以得到一份覆盖所有方面的完整策划案，如果对某些东西不满意，可以进行多次迭代，去保证这个策划案是符合我的想法的。

完成了策划案之后，我们来看技术实现这部分。

如果考虑技术实现，我就需要考虑技术选型的事情。前期如果我需要根据原型设计去考虑技术选型，包括框架搭建这是需要不少时间的。假如说我自己本身是个非技术开发者、不掌握引擎技术使用，那可能会有非常大的学习时间成本，也会有很大的局限性。

在AI的技术加持之下，实际上有一个更好的方式，就是使用我们的WebGame技术做前期的技术预演。当然，它有很多的好处：第一点，Web整个技术栈非常成熟，有20多年的历史；其次可以很快进行文件的修改跟迭代，同时我们生成的游戏很方便在浏览器预览，不管是我们自己还是分享给团队或者公司里面的同事进行玩法验证。

第一个好处是，我们做游戏原型前期也需要美术资产，使用WebGame技术，他能够通过代码生成很多美术资产，减少我们这个阶段的人力跟时间的消耗。WebGL技术非常成熟，对AI非常友好，大家平时使用AI编码，可能会知道哪一些会比较好、哪些是不太够的，但是在Web技术栈的情况下，其实所有模型都能跑出很好的结果，因为它技术非常成熟，大模型对这个领域的知识非常清楚，我们会使用WebGame技术栈进行初期的原型开发。

具体的使用方式也非常简单，之前已经生成了策划文案，它已经知道了我要做怎样的一个游戏，我只需要简单跟他说，帮我以Webgame的形式实现一个游戏原型，即可。

当然这里刚刚我们有提到专家团的能力，涉及到代码这一块，有可能生成的代码是有错误的。这里其实就用到了我们的专家团能力，包括两个专家，第一个是工程师，帮我们负责生成代码，第二个是QA工程师帮我们审核和检查代码，保证生成的代码能够被直接使用。所以在专家团的帮助下我们可以很简单的通过一句话生成可试的游戏，

这是生成的一个游戏原型，这里包括美术、怪物、动作都是符合我预期的，整个游戏是代码生成，所以并不需要前期做美术资产，就能跑动这样一个流程。

我们接着看，游戏原型生成之后，其实我们也需要不断的做一些迭代修改。涉及到游戏内容的修改，有一些简单的场景，比如数据类、配表类型等，通过自然语言就能够很容易进行修改。

但是也有一些复杂的场景，比如这个设计游戏里面最复杂的应该就是关卡结构，一个关卡里面会有很多的数据类型，我很难有一个方式让AI知道我希望修改的具体是哪一块。常规研发，我们可能会对关卡做一个关卡编辑器工具协助我们完成这个过程。

在AI的帮助下，也可以用类似的思路，让AI帮我生成关卡的web页面，这个页面就呈现了整个关卡的所有元素，包括人物、怪物、道具，平台跟跳板，所有东西都以编号明示。有了这个之后，就可以很容易跟AI说修改增加哪一个元素的内容，以及怎么样去改。

以上就是能完成整个游戏玩法的设计，接下来我们再看一下美术的挑战。由于是代码生成的美术，所以它不具备美术风格上的属性，但我还是希望在原型阶段能够看出美术风格、世界观背景。

美术生成其实是有一些困扰的。大家用过AI可能都使用过AI生图，我们需要针对每张图去写一个提示词。我们一个简单的游戏可能也有十几或者二十多个资源，对于非专业人士来说，这也挺麻烦。

第二个挑战就是，我们AI生图的资产并不是直接能够放到游戏工程里面使用的，还需要去做一些后处理操作，比如正常的抠图、分辨率的设置，放到游戏里面才能够正确显示。

第三，我们AI生图通常会有一个独立的工作台，或者一个web网站，那我们包括编码、AI生图需要不断来回切换，也会有额外的开销，所以美术也会面临以上的问题。

可以看到Workbuddy在美术方面也提供了比较好的解决方案。刚刚我们的策划和原型都已经完成了，那么它已经知道了我们游戏的上下文，知道了我们的世界观，也知道我们预期的美术风格。在这个基础上，我不需要去针对每一个资源写一个提示词，只需要一句话告诉它帮我生成游戏中所有使用到的资源即可。

这是Workbuddy生成了资产替换后的游戏效果，它跟第一版的关卡是一致的，最大的区别是它用生成的美术资产进行了替换，而且这些美术资产是有实实在在的美术文件在的，也可以很方便的支持我们下一个阶段的工作。

从原型到引擎移植

以上可以完成原型迭代以及玩法的验证，这部分完成后，其实可以进入下一个阶段，就是把它装到游戏研发引擎里面。

下一个阶段涉及到游戏的引擎内开发，所以这里有一个更好的工具，就是我们的CodeBuddy，它的定位是AI智能IDE，它能够更好的跟我们的游戏引擎结合，而且它集合了我们腾讯云生态里面的一些功能，能够很好的协助我们做这一块的工作。

首先看一下，针对我的游戏场景，我最终做了一个技术选型。因为它是一个2D游戏，所以使用Cocos引擎是合适的，我们现在有一个游戏原型，我们希望它最终生成的是一个cocos工程。

这里最主要的一点，我肯定不能从头开始跑一个流程，这是很大的一个时间成本。我应该看一下web原型里面有哪些资产，包括我们的策划文档、数值配表、关卡数据、美术资产和游戏源码，这些都可以很方便的通过Workbuddy到处，给我们的Codebuddy使用。

在基于引擎做编程这一块，如果只是基于大模型的能力，其实是不太够的，不够快，所以我们还需要注入更多的能力，包括我们的Skill、RAG以及MCP的能力。前两个很容易理解，它能够沉淀我们之前的实践，给出最佳的代码结构，让AI直接生成符合我们要求的规范，实现一些可用的代码。

MCP也是值得一提的，去年，像客户端的编程还是局限在代码生成这一块，AI当时没有能力操作我们的引擎。但是今年以来，包括Unity、cocos、UE等等，都已经提供了MCP能力。这样，AI就能通过MCP操作游戏引擎，帮我们完成引擎场景的处理，可以极大节省开发人员的操作，帮我们把重心转移到核心逻辑的实现即可。

这里是我自己沉淀的一些skill能力，比如说代码生成，我使用的是cocos引擎，cocos其实有不同版本，这里沉淀了一些不同版本的使用方式，代码规范。第二是节点操作，这里定义了MCP操作的一些边界，我希望MCP应该去做哪些，不应该做哪些，让它按照你的规范执行，保证正确性。

第三个是在引擎开发中，我们还缺少了一个能力，就是AI生图。我希望大模型能调用我自己的API，帮我生成图片并做完后期处理，再把它放到游戏引擎里使用，我们也可以把它定义成一个skill，打造我们自己的工作流，让我们的AI coding阶段更加丝滑。

完成以上内容之后，我希望自己的游戏增加一些表现力，因为我做的是个2D游戏，所以我希望增加一些动画表现，我想到的是使用序列帧。我使用大模型生图做成序列帧，但是效果没有那么好，比如方向不对、动作不够流畅等等，于是我基于腾讯云mps序列帧做了一套解决方案。

本质上，就是先通过一个提示词生成一个视频，因为是图生视频，他就能保障动作是流畅的。随后，在通过视频进行抽帧动作，通过一系列操作，最终生成我预期的一个序列帧动画效果。

最后再看一下使用了cocos引擎以及替换了动画美术资产后的效果，整个关卡结构其实跟web原型还是一致的，最主要是引擎变化了。整个过程我大概只花了两天的时间，我觉得比起传统研发，是能够提效非常多倍的方案。

以上就是我分享的内容，谢谢大家。