辩论赛场上,AI 学会了像专家一样评判创造力

创造力是人类不可替代的特质与能力。从课堂到职场，从科研到创业，创造性问题解决能力依赖于我们能否提出从新视角发现与定义问题、提出新想法、产生有价值的解决方案。

知识积累的多少可以通过考试来评估，创造力则更难量化。创造力究竟应该如何测评？传统的做法要么是发散思维测验（比如AUT会问"一把伞有多少种用途"），要么是自陈问卷。尽管这些方法具有一定的心理学理论支撑，但存在生态效度等问题。问卷测评易受社会赞许偏差干扰，有时难以反映被测者的真实表现。与之类似，常规发散思维测试大多在脱离现实情境的实验室环境中开展，难以还原现实情境下创造力的情境化特征；而在真实环境中，个体需要在多重复杂约束与竞争合作关系中完成创造性活动。

那什么样的场景可以作为检验创造力的“试金石”？我们给出其中一个答案：辩论。

辩论活动不只是语言表达练习，更是创造性思维与批判性思维的动态融合。辩论要求参与者在限时压力下既要产出新颖的立论观点（发散思维），又要恪守逻辑自洽原则、满足反驳规则约束（聚合思维）。

该观点与创造力的过程分析模型相契合，这类模型提出创造性问题解决包含一套由核心环节构成的循环流程，具体分为问题构建、信息编码、观点生成与观点评估四个阶段。辩论能够在时间约束下完整落地上述全部流程，因此成为创造力智能测评的理想情境。

但在辩论场景中，从理论层面的定性认知转向可计算的量化评测，依然面临三大挑战。

针对上述挑战，上海创智学院 2025 级博士研究生于同舟及所在教育大模型团队，联合华东师范大学、南京大学提出了一种数据高效的解决方案（DEFINED）。

DEFINED 框架总览

首先在数据层面，DEFINED 从顶尖华语竞技辩论赛《新国辩》（2022—2025年）采集真实辩论赛数据。该赛事具有权威的评审标准与评分机制，作为可靠的粗粒度辩论质量打分真值。

数据集囊括56个不同辩题、108场赛事，经由音频转写得到706组有效的上下文-陈词配对数据，中文文本总字符数达325万字。

为了缓解原始比赛数据的精英偏差，DEFINED 引入了约束下的数据增强策略，以真实数据为锚点，通过提示词限制模型生成的陈词水平，并且借助大模型强大的 pair 对比较能力修正生成数据分数，构建了覆盖更广能力分布和语境分布的训练数据。

其次，DEFINED 设计了层级化八维评估体系，将辩论中的评估拆解为五个创造力相关维度与三个创造力无关的表达质量维度，以全面反映专家评分认知过程：

八维指标：从发散到聚合，覆盖创造力的全光谱

在此基础上，DEFINED进一步提出混合粒度监督训练框架，通过明确层级结构的打分头以及混合损失函数实现粗细粒度同步训练，共享参数空间，将少量昂贵的细粒度专家标注数据与大量易获取的粗粒度评分数据进行联合学习。

三模块评估协议：(a) 细粒度评估：衡量八维预测与专家标注的对齐程度；(b) 中低分段粗粒度评估：利用 Pairwise Accuracy 评估排序能力；(c) 高分段粗粒度评估：以 MSE 衡量与真实裁判分数的偏差。

粗粒度实验结果

偏差分析案例研究：(a) 上下文扰动下的评分不稳定；(b) 表层模式匹配；(c) 绝对分数失配。

• 偏差一：上下文扰动不稳定，轻微调整上下文表述后，GPT-4o 等模型的评分出现剧烈波动。

• 偏差二：表层模式匹配，模型被表面关键词所迷惑。当发言中包含“首先”、“其次”等词汇时即便论述内容浅薄或重复，也往往会获得虚高的流畅度打分。

• 偏差三：绝对分数失配，模型绝对分数偏离人类专家评分区间，优秀的陈词在分数上甚至会低于逻辑跳跃文本的分数。

相比之下，DEFINED在这三类偏差上均表现出更强的鲁棒性。

值得注意的是，该工作技术已服务多所中小学，赋能学生创造力培养与激发。

该工作存在可以进一步探索和解决的方向。DEFINED 为数据稀缺场景提供了可行方案。在专家标注成本高的社会科学领域，混合粒度训练策略使得利用已有的粗粒度数据成为可能，大幅降低了对昂贵细粒度数据的依赖。但这一方案跨领域后是否能有效工作需要进一步验证，DEFEIND 未来将探索框架如何扩展到更广泛的评估场景中。