乐于分享
好东西不私藏

你以为现在的AI真能帮你做好游戏?GameCraft-Bench用140道题为不同主流大模型打了个客观分数

你以为现在的AI真能帮你做好游戏?GameCraft-Bench用140道题为不同主流大模型打了个客观分数

先说一个数字。

41.46%。

这是2026年6月,香港中文大学、深圳鹏城研究院、腾讯混元团队等多机构联合发布的GameCraft-Bench评测报告中,当前最强AI编程助手的得分。

测试方法是这样的:在Godot游戏引擎里,给AI一共140道题,让它在两小时内完成。题目涵盖15个游戏家族:平台跳跃、策略、经营模拟、开放世界、Roguelike、视觉小说、射击……

每一道题,AI都要交付一个完整可运行的游戏,而不是几段代码片段。

然后,用GPT-5.5当裁判,真实运行AI生成的游戏,逐帧打分。

结果:Claude Code配上Opus-4.7模型,得分41.46%。

也就是说,最强的AI,也只能完成不到一半的评分要点。


GameCraft-Bench是怎么测的

说一个评测方法,因为这个方法本身很有意思。

以前的AI游戏评测有三个致命缺陷:

评测环境和真实游戏引擎脱节、AI只需生成代码片段而非完整项目、只检查代码是否包含特定函数而不真正运行游戏

GameCraft-Bench的解决办法是三重标准。

第一重:引擎接地。AI必须在真实的Godot游戏引擎里工作,而不是在玩具沙盘里。这意味着AI需要正确管理图片素材、音频文件、输入设置、场景配置,所有这些东西都要就位,游戏才能运行。

第二重:产物完整性。AI不能只写几段代码就交差。它必须交付一个完整可启动的项目。如果游戏无法启动,直接0分。

第三重:交互验证。裁判是GPT-5.5,它会真正"玩"AI生成的游戏,观察游戏是否实现了预期的功能,而不是检查代码里有没有某个函数。

这个评测框架的设计者,有12位有经验的游戏标注员参与。他们写的题目,风格类似真实的游戏策划文档,告诉AI要做一款什么感觉的游戏,但不告诉它具体怎么实现。


各游戏类型的得分

说一个最有意思的数据。

不同类型的游戏,AI表现差异悬殊。

平台跳跃类任务得分最高,平均约58%。这类游戏机制简单直接:左右移动、跳跃、碰撞检测。代码逻辑清晰,AI能够较好实现。

射击类、策略类、益智解谜类,处于中等水平,大概35%到45%

视觉小说和Roguelike,得分继续下降,在25%到35%之间

开放世界类任务得分最低,平均约22%。大尺度空间一致性、NPC行为编排、动态事件触发逻辑、长期状态管理,这些恰恰是当前AI的弱项。

这个分布说明什么?

说明AI擅长"规则清晰、反馈直接"的游戏。

而不擅长"内容丰富、状态复杂、需要长期一致性"的游戏。


五大系统性短板

说一个更深的分析。

41.46%这个分数,不是某一项能力不足导致的。GameCraft-Bench揭示了AI游戏生成的五个系统性短板。

第一,资产管理混乱。

AI能写代码,但难以正确管理图片、音频、字体等资产与代码的关联。资产路径错误、格式不匹配、资源未正确导入,这些问题频发。代码跑通了,但游戏跑不起来。

第二,状态一致性失效。

当游戏规模扩大,AI难以维护跨系统的状态一致性。比如"玩家收集钥匙后才能开门"这种跨系统的逻辑关联,AI经常遗漏或实现错误。

第三,视觉反馈缺失。

代码逻辑跑通了,但缺乏视觉反馈。玩家受伤没有屏幕泛红,攻击没有命中特效,道具获取没有拾取动画。AI倾向于实现功能而非打磨体验。

第四,内容丰富度不足。

评测权重最高的内容丰富度美术呈现两项,AI得分最低。AI能实现一个"可以玩的游戏",但难以实现一个"内容充实的游戏"。

第五,调试能力有限。

当游戏出现运行时错误,AI的自我修复能力有限,经常陷入"修复A引发B、B修复后A回归"的循环。

这五个短板加在一起,解释了为什么AI的游戏生成天花板停在了41.46%。

小编个人体验也是这样,当前这五个板块——实际上是人类用户使用AI进行游戏创作时,需要发挥能动性进行强化和体现创意的领域。

之前大量的时间用于管理资产(现在引入Harness和多Agent协作机制有所改善),体验反馈(要求AI加入各种符合预期的特效和UI反馈),在多层面丰富内容(另一方面不断淘汰不合格内容,并局部重构框架)。

这些工作短期内AI难以完全替代人类。


三条技术路线

说一个全景视角。

当前AI游戏生成,正在形成三条并行的技术路线。

第一条:代码生成类。

Claude Code、Cursor、GitHub Copilot为代表。这是当前最成熟的路线。Claude Code配上Opus-4.7,在140道题里拿了41.46%的最高分。Cursor的优势是日常编码加速,Tab补全准确率业界领先。Copilot背靠微软生态,用户最广,但在技术深度上已被前两者超越。

第二条:资产生成类。

Meshy.ai、Tripo3D、Suno、ElevenLabs为代表。Meshy能在10到60秒内生成一个带纹理和动画的3D模型。Tripo3D速度更快,约5到30秒出一套角色。Suno能生成完整音乐,30秒一首。ElevenLabs能生成各种游戏音效。这些工具已经相当成熟,是游戏美术资产的重要来源。

第三条:全流程生成类。

SOON、Summer Engine、GameNGen、Marble为代表。这一类从文字或视频直接生成完整可玩游戏或游戏资产。GameNGen能在20fps实时生成DOOM画面。Marble能生成可导出的3D世界。SOON平台能根据视频在20分钟内生成可运行的游戏框架。

这三条路线,成熟度不同,应用场景不同。代码生成适合专业开发,资产生成适合美术制作,全流程生成适合快速原型验证。


三条路线的真实能力

说一个务实的评估。

代码生成类工具,当前最强的Claude Code配上Opus-4.7,能处理复杂的游戏系统:状态机实现、AI行为树、存档系统、网络同步。100万token的上下文窗口,让它能同时处理跨数十个文件的重构任务。但它的局限在于:需要人类给出清晰指令,不能从模糊需求自动推导完整方案。

资产生成类工具,3D建模已经可以在10到60秒生成基础网格,AI动画绑定支持500多种预设,能直接导出Unity、Unreal、Godot兼容格式。但Meshy生成的网格不等于游戏资产,资产需要正确配置碰撞体、材质、LOD才能在引擎里正常工作。2D图像生成,Midjourney、Stable Diffusion已经能产出高质量概念图和UI素材。音乐和音效,Suno生成30秒一首完整曲目,ElevenLabs生成各种游戏音效,都已相当成熟。

全流程生成类工具,GameNGen能实时生成DOOM画面,但只能复现已有关游戏,不能创造新游戏。Marble能生成可导航的3D世界,导出后在Unity或Unreal使用,但游戏逻辑和角色仍需人工添加。SOON平台能根据视频在20分钟内生成游戏框架,但生成质量仍在Demo级,距离商业化还有距离。


AI和人类各自的分工

说一个基于实测的结论。

GameCraft-Bench的41.46%,揭示了AI和人类在游戏开发中的核心优势和能力局限。

AI擅长:功能逻辑清晰、状态空间有限、反馈机制直接的工作。跳跃、射击、碰撞这类有明确输入输出的机制,AI表现较好。代码脚手架搭建、重复性编码、批量修改,这些AI效率极高。

人类擅长:内容填充、视觉打磨、整体一致性判断。游戏的核心创意、美术风格把控、玩家体验设计……这些是AI无法替代的。

一个有效的人机协作模式是:AI负责脚手架搭建和重复性编码,人类负责核心玩法设计、视觉风格和品质验收。

这个分工,能让开发效率提升5到10倍。

但"游戏是否好玩"这个核心判断,始终在人类手里。


为什么开放世界是AI最难做的类型

说一个评测里最值得注意的数据。

开放世界游戏,得分最低,平均约22%

这不是偶然。

开放世界对当前训练模式下的大模型提出了几个结构性挑战。

第一,大尺度空间一致性。AI生成的大地图,可能出现"传送门逻辑"——从一个地方到另一个地方,突然场景就变了,没有过渡。玩家感受到的是割裂,不是探索。

第二,NPC行为编排。开放世界有大量NPC,每个NPC有自己的行为逻辑。AI能写一个巡逻的NPC,但很难维持几十个NPC之间行为的协调性和自然感。

第三,动态事件系统。开放世界的乐趣之一,是玩家可以随时触发各种事件。AI能实现一个事件,但很难实现事件之间的逻辑关联——玩家做了A,会影响B的概率,B发生之后,C才可能出现。

第四,长期状态管理。开放世界需要正确保存和恢复玩家状态。AI经常出现:玩家返回之前的地点,发现状态没有正确保留。

这四个问题,不是既有AI能力不足导致的,因为他们原本并不是以生产开放世界为目的训练的,这就带来了本质上的尴尬。或许,正在紧锣密鼓研发中的世界模型可以帮助解决这个问题。

当游戏的规模变大、时间跨度变长、状态空间变得复杂,AI的错误会被放大。这就是为什么平台跳跃是AI表现最好的类型:空间小、状态简单、反馈直接。


Gameslop和AI的质量危机

说一个2025年出现的问题。

2025年,Steam上出现了超过7000款披露使用AI的游戏,约占全年发行量的三分之一。

其中相当比例,是低质量的"AI堆砌游戏"——主要素材由AI生成,缺乏人工筛选或创意投入。

业界给这种现象起了一个名字:Gameslop。

(游戏垃圾, 指的是那些重数量轻体验的游戏。例如:程序生成的无聊: 人工智能生成的庞大世界,却让人感觉空洞乏味、重复单调。)

Gameslop的本质,不是AI能做什么,而是AI不能做什么。

AI能生成"可运行的游戏",但"可运行"不等于"好玩",不等于"值得玩"。

大量低质量AI游戏的涌入,稀释了用心制作的游戏可见度,损害了整个独立游戏生态的声誉。

GameCraft-Bench的41.46%天花板,恰恰说明了这个问题。

AI能帮你通过50%的关卡,但那50%,可能是最不重要的50%。

剩下那50%,才是让游戏变得"值得玩"的部分——而那部分,AI帮不了你。


对AI游戏开发工具的展望

说一个未来的预测。

GameCraft-Bench的预测的分数,是现在的天花板。但天花板不是封顶,它只是一个当前的测量。

即将到来的未来,正在突破的五个方向。

第一,多模态资产理解与整合。AI现在能生成代码,能生成资产,但不懂它们之间的关系。未来可能出现跨模态对齐的模型,让AI能理解"这张图应该对应那个代码里的Sprite引用"。刚被封禁的Claude Fable5似乎已经表现出了一些类似的能力。

第二,长程状态一致性。引入显式世界模型,让AI不仅生成代码,还维护一个"游戏世界的内部表示",确保跨系统逻辑一致。

第三,视觉反馈自动生成。训练专门的"游戏UI和UX生成模型",基于游戏类型和当前状态自动建议合适的视觉反馈方案。

第四,人类意图的精准理解。改进提示词工程,让AI能通过追问澄清模糊需求,而不是盲目执行。

第五,端到端生成质量的提升。随着模型能力进步和用户数据积累,生成质量有望从"Demo级"提升到"独立游戏商业级"。

意味着什么

说一个给所有开发者的结论。

GameCraft-Bench的41.46%,是一个清醒的数字。

这告诉你,当前最强的AI,也只能帮你完成不到一半的评分要点。大家可能关心的原测评报告中各模型的实际表现对比的表格,我直接放在文末(如果关心其中技术细节也可以走文末通道直接搜索,值得一提的是其中测评的游戏都是可以直接玩的)。学挖掘机哪家最强并不是我们讨论的重点,重点是如何和挖掘机协同高效工作。

从这篇报告中真实领悟到的是:AI能做很多事,但在"做完整、做精美、做独特"这三个维度,仍有漫长的路要走。

它还告诉你,当前的技术条件下,AI还无法真实完美的帮你做好游戏,但AI会帮你更快地把你的意图变成可运行的代码和资产。

最终那个"要做什么游戏、为什么做这个游戏、想让玩家感受什么"的决定,仍然是你自己做的。

这不是悲观。这是事实。

41.46%的天花板,既是当前AI游戏生成能力的精确刻画,也是未来突破的起点。

而在这个起点上,人类和AI的分工,才刚刚开始清晰。

那么您对这个问题是怎么看的呢?欢迎在评论区留言。


献给所有对AI游戏生成能力有清醒期待的开发者。

主编:珊珊 & 小玫


参考来源

  • GameCraft-Bench评测报告,arXiv:2606.17861,2026年6月
  • GameCraft-Bench GitHub,140道题目及完整评测数据
  • 各AI工具官方定价页面,2026年6月
排名
AI配置
总分
核心机制
内容丰富度
画面功能性
美术呈现
1
Claude Code + 
Opus-4.7
41.46%
52.3%
34.8%
48.2%
35.1%
2
Claude Code + 
MiMo-V2.5-Pro
38.72%
48.9%
32.1%
45.6%
33.2%
3
Codex + 
GPT-5.5
36.85%
47.2%
30.4%
43.8%
31.9%
4
Codex + 
DeepSeek-V4-Pro
35.21%
45.6%
29.3%
41.2%
30.5%
5
Kimi Code + 
Kimi-K2.6
31.47%
40.3%
26.8%
38.4%
27.2%
6
Code Buddy + 
GLM-5.1
28.63%
37.5%
23.2%
35.1%
24.8%
7
Code Buddy + 
MiniMax-M2.7
12.38%
18.2%
10.5%
15.6%
11.3%

源文引述-附表

报告源文:https://tongxuluo.github.io/gamecraft-bench-website/