多模态生成式AI驱动的图形化编程辅助工具

《MindScratch: A Visual Programming Support Tool for Classroom Learning Based on Multimodal Generative AI》发表于International Journal of Human-Computer Interaction期刊，这项研究开发了一个多模态生成式人工智能支持的图形化编程辅助工具。

1. 研究背景与挑战

• 编程教育是K-12教育的重要组成部分，被广泛认为是培养学生计算思维 (Computational Thinking, CT) 的有效途径 。

• 然而，教师在教学中面临一个困境：如何在死板的知识传授与高参与度的项目式学习之间取得平衡 。

• 当前的编程辅助工具（如CodeToon, Visual StoryCoder等）在课堂应用中存在不足，难以反映课堂教学目标、缺乏可控的引导流程，且较难为学生提供及时的个性化反馈 。

为明确现有工具的局限性，研究者进行了形成性研究，得出以下对比结果：

2. MindScratch 系统设计

为了解决上述挑战，研究团队开发了 MindScratch，这是一个由多模态生成式人工智能 (GAI) 驱动的视觉编程辅助工具 。该工具旨在平衡结构化的课堂活动与自由编程创作 。

MindScratch 的后端依托于大语言模型 (LLM) 和多模态生成模型：

• 分阶段对话流程：系统通过项目规划、材料创建、代码实现三个阶段引导学生 。

• 多模态资产生成：利用Stable Diffusion进行文本/草图到图像的生成，并利用基于扩散模型的文本到音频模型生成音效，从而满足学生的个性化表达需求 。

• 支架式代码助手：系统微调了GPT-3.5模型，不直接给出完整代码，而是提供逐步的逻辑建议和代码块 。