《Designing AI Chip Software and Hardware》中文整理版01-为什么我认为 加速器的终局可能是“ CPU”

原文标题：Designing AI Chip Software and Hardware 

原作者：Bjarke Hammersholt Roune 

授权状态：原文公开免费阅读，但未见明确的开放许可或中文翻译发布授权。本文为非商业学习交流翻译；中文分篇标题为译者拟题；本文为第 1 / 9 部分。

这份文档是什么？

我本来打算创办一家 AI 芯片（AI chip）公司，这份文档记录了我关于如何制造 AI 芯片的思考，包括软件和硬件两个方面。它是写给另一个会负责 AI 芯片项目、或者会参与 AI 芯片项目的人看的——这里面包含了一些你需要知道的东西。

我也觉得其他人可能也会对理解 AI 芯片这个领域感兴趣，所以这份文档的大部分内容在业余爱好者水平上应该也能比较容易理解。有些部分更技术化，需要更深的背景知识——这些部分会用粗体标记为 “for nerds（给硬核读者看的）”。

这份文档也包含一些我在硅谷时期的轶事（anecdotes），我希望它们既有趣，也可能有启发。这些内容会被清楚标出，所以如果你对它们不感兴趣，可以跳过。

我知道这份文档现在已经在一些地方被用作 AI 芯片公司员工入职培训的一部分。我觉得这是个好主意，因为这份文档里的许多材料在别处并不容易找到。

我凭什么写这个？

我曾在 Google 从事 TPU 工作，也曾在 Nvidia 从事 GPU 工作，并担任过技术领导岗位。我还在其他生产 AI 软件和硬件的公司工作过，比如 Amazon 和 Facebook。我曾是 Google TPUv3 的技术软件负责人，当时也深度参与了 TPU 硬件功能的选择和设计。这就是我的职业。

我为什么写这个？

后来，由于个人原因，我最终决定不创办 AI 芯片公司。我当初想创办 AI 芯片公司，部分动机是我相信事情有更好的做法——也许这会让投资者受益，但也会让客户受益。我希望通过写下这份文档并免费公开，来实现一部分我原本希望自己的公司能够实现的积极效果。

你可以评论

欢迎直接向我评论这份文档，也可以在这个 LinkedIn 帖子下公开评论（或者，如果你愿意，也可以在任何地方评论）。你也可以直接在这份文档里使用 Google Docs 评论功能留言，不过你需要先向我申请权限。最初这份文档是对所有人开放的，但后来发现这样不可行，因为有人会无意中提出编辑建议，或者选中文档的一部分甚至整篇文档，导致每个读者都能看到高亮。

执行摘要

我在这份文档中的核心主张是：AI 加速器（AI accelerator）最终的未来会是 AI CPU（AI CPUs）——也就是比较接近传统 CPU 的东西，但带有大缓存和脉动阵列（systolic arrays），并且缓存和脉动阵列会占据芯片面积和功耗的大部分。要从这个想法出发做出有竞争力的 AI 芯片，有很多细节需要做对，而逐一讨论这些细节，就是这份文档内容的很大一部分。

你会在这份文档里看到的最大张力是：一方面，要最大化单位成本 token 产出（tokens per dollar）；另一方面，又要避免把 AI 芯片严重过度配置，塞进一堆总体上极其昂贵且不必要的功能和容量，只是为了让客户拿到一个看起来像他们已经在使用、并且已经习惯的东西。我在这份文档里给出的建议，假设你拥有一支极其优秀的软件团队，能够把这一切都做通，让客户即使在没有严重过度配置的情况下，也能轻松使用你的芯片。你绝对不会轻松招到这样一支软件团队。所以请把这一点记在心里。

如果你从事 AI 软件工作，你可能也会想读一下这篇关于 AI 编译器测试的文章。由于我已经在那篇文档里讨论过测试了，所以我在这份文档里不会再展开测试。

无关内容：我确实有一些关于可解释 Transformer（interpretable transformers）的想法，我觉得挺有意思。

我会为你的公司工作吗？

我已经退休了，并不在找工作。我不做付费咨询。我不会替你运营创业公司，也对接受融资不感兴趣。我不能替你找到联合创始人。如果你愿意问我问题，而我又愿意回答——我大概会愿意——那我会免费回答问题。

持续创作高质量文章，欢迎关注公众号。

• 拓驰猎头2010年成立，总部在深圳，全职猎头80人+，全球Office10个+，专注在芯片半导体、AI大模型、智能硬件、新能源、汽车5大赛道30个+细分行业。

• Jason，拓驰猎头CEO，20年猎头经验。

  长期招募合伙人、猎头顾问、SOHO顾问等，欢迎+V：hunterjason