AI 文字生成过程可视化

已关注

关注

重播分享赞

课堂上那个最难讲清楚的问题

如果你在法学、新闻传播、社会学、公共政策、教育学或数字人文的课堂上讨论过 ChatGPT、文心一言、豆包这一类大模型，大概率会被学生问到同一个问题：

它到底是"理解"了我的话，还是只是"猜"出来的？

这个问题难讲，不是因为答案有多高深，而是因为 学生看不见 AI 工作的过程。他们看到的永远是一整段答案——从屏幕上"啪"地一下冒出来的、看似完整的回答。这种黑箱式的呈现方式，让"AI 是不是真懂""AI 是不是有意识"这类讨论很难落到具体的机制上，最后只能停在直觉和立场。

大模型生成内容的方式，更接近一个 接龙游戏：

•它先读一遍你输入的提示词；

•然后从词表里挑出一个最可能"接下去"的字（更准确地说，是一个 token）；

•写下这个字之后，把"你的提示词 + 它刚写的那个字"合在一起，作为新的上下文，再去挑下一个字；

•一直循环，直到它认为"写完了"。

也就是说，它每写一个字，都会重新读一遍前面所有的内容。

这件事如果只是口头讲，学生很难有直观感受。课堂上你能看到的，往往是他们礼貌地点头，但眼神空洞——一种"好像懂了但又没懂"的状态。

Next-Token Visualizer就是为这种课堂场景做的一个小工具。

它的使用方式很简单：

1你（或者你的学生）在网页上输入一段提示词；

2工具在本地运行一个开源语言模型（Qwen2.5-1.5B-Instruct），一个 token 一个 token 地生成回复；

3每写出一个 token，它都会把 前文里对这个 token 影响较大的那些字用高亮标出来，最后输出成一份可以在浏览器里点来点去的交互式 HTML。

换句话说，原本"AI 一秒钟输出一整段"的黑箱，被它拆成了一个 可以逐帧回放的慢动作。学生能亲眼看到：

•它现在在写第几个字；

•写这个字的时候，它"回头看"了前文里的哪几个词；

•换一个提示词，这种影响关系会怎么变。

这就为课堂讨论提供了一个具体的抓手。你不再需要用比喻去解释"上下文""注意力""生成"，可以直接指着屏幕说："你看，它写下这两个字之前，是回头看了前面这几个词。"

这不是一个为算法课设计的工具，而是为 那些不需要、也不想写代码的人文社科教师设计的：

•法学：讨论 AI 生成内容的责任归属、举证逻辑、可解释性边界；

•新闻传播：讨论生成式 AI 对内容生产、事实核查、信息排序的影响；

•社会学 / 公共政策：讨论算法决策、推荐机制、自动化偏见；

•教育学 / 数字人文：讨论 AI 写作对学习评估、文本研究的冲击。

学生不需要懂 Python，也不需要懂 Transformer。他们只要看见——"哦，原来它是这样写出来的。"很多本来抽象的讨论，会一下子有了落点。

技术门槛被刻意压到了最低：

1把仓库克隆到本地；

2建一个 Python 虚拟环境，装一下依赖；

3运行 python app.py；

4在浏览器里打开 localhost:5050，就能用了。

整个工具完全在本地运行，不需要联网调用任何商业 API，也不会把学生输入的内容上传到任何第三方。这对那些涉及敏感案例、隐私话题、未成年人讨论的课堂来说，是个比较友好的特性。

最后必须坦白一件事：这个工具是 教学辅助，不是模型可解释性研究工具。

它呈现的"前文影响"是基于一种近似的归因方法，只是一种近似，并不是模型内部推理过程的直接证据。它能帮你和学生建立起"AI 是怎么写字的"这种直觉，但它 不能、也不应被用来"证明"大模型究竟为什么这样输出。

项目地址：原文链接