用AI开发问卷:潜力与挑战

恩格斯（1883）指出，“科学是历史的有力的杠杆”“是最高意义上的革命力量”。作为新质生产力主要表征的人工智能技术（AI）的迅速发展正在深刻地影响着人们的日常生活，也改变着当代社会科学研究的认知边界、方法论体系和研究范式。2022年11月30日，OPEN AI公司正式向公众开放ChatGPT-3.5，发布仅两个月便拥有一亿活跃用户，其潜在的应用价值被各界广泛关注。基于学者特有的学术敏锐度和好奇心，左冰老师精准捕捉到这一前沿技术的学术应用潜力，并提出了极具创新性的研究思考：既然ChatGPT具备成熟的认知交互能力，能否将其赋予“受访对象”的属性，用于辅助旅游研究者开展问卷调查工作？这一设想的核心目标，是将研究者从耗时、费力且价格不菲的问卷开发与调查中解放出来，作为新型研究工具加速学术知识产出，推动学术研究力的提升。在这样的理念驱动下，左老师的团队于2023年开展了相关研究，历经反复调适与验证，最终将研究成果《ChatGPT作为旅游研究问卷调查工具：优势与局限》整理成文。文章发表于《旅游科学》2025年第39卷第10期，被《复印报刊资料•旅游管理》2026年第4期全文转载。

问卷调查是学术研究的基础支撑，是连接理论研究与现实实践的重要桥梁。左老师的研究兼具前沿性和应用型，为人工智能赋能旅游研究提供了宝贵的经验。为了让更多的读者理解文章背后的研究逻辑、核心理念与探索历程，我们特邀左老师撰写此文，以为前传。

这项研究的出发点，并不仅仅因为ChatGPT当时“很新”或“很热门”，而是因为它触及了一个更基底性的方法论问题：当AI进入学术研究，它的工具价值究竟只是一个海量数据的编译者或者所谓的拓展认知边界的“知识连接器”，还是可以被挖掘的、能够为创造性研究提供新起点的“智能”？

对于旅游研究而言，这个问题尤其值得讨论。旅游研究大量关注游客态度、情感体验、访问意向和消费判断。这些内容长期依赖实地调查、观察、访谈、问卷调查来获取，虽能捕捉个体动机和复杂情境，但常常伴随高昂的时间成本、经费投入和有限的数据规模。其最终也需要聚合个体数据，寻求共性，以获得“平均效应”或揭示群体模式。ChatGPT本身就是海量多元异质数据的聚合体。它就是社会科学研究的“实验室”。

因此，我们关注的不是“AI能不能替代人类样本”或能不能“做问卷”这样一个简单问题，而是更进一步地追问：我们可以在ChatGPT这个社会科学的“实验室”里做些什么？

要回答这个重大命题，只能采用“小切口”的策略，需要用“一叶知秋”的方式进行解构和解读。基于ChatGPT的智能与对话技术，我们重点评估其作为问卷收集工具的潜力，探讨其替代传统问卷方式的可行性。而开展评估最重要的是参照系的设计和框定。于是，我们选择了一篇已发表的英文文献，重复其实验设计，通过对比传统问卷数据与ChatGPT生成问卷数据之间的结果，检验ChatGPT的“智力”生成的数据是否具有可分析性和可比较性。换句话说，这项研究不是单纯讨论ChatGPT“能否做问卷”，而是把它看作社会实验所需的材料本身。

在具体操作中，我们将ChatGPT的身份设定为“受访游客”：先输入广告刺激材料，再引导它回答量表题项。经过反复对话与调适，我们共收集了400份有效的ChatGPT问卷，围绕12个题项进行了4832次提问，回答率达到99.33%。“有效问卷回收率”明显远高于实地调查。对比结果可以发现，ChatGPT基于超大规模训练集提供的问卷更接近总体特征，样本质量更高，可以处理包括主观态度、情感、感知在内的各种语言表达。合理使用ChatGPT的对话生成功能，的确可以将ChatGPT作为量表开发和开展虚拟实验的辅助工具，帮助研究人员评估实地抽样方法的合理性和规范性，避免因非概率抽样导致的样本代表性问题，降低研究创新的试错成本，显著节约时间并提高成果质量。

但ChatGPT生成的数据也存在明显局限。除了样本分值较为集中、随机性不足等技术性问题外，使用ChatGPT必须以牺牲或忽略个体性为代价。缺乏对个体独特性和复杂性的深度描绘，是其方法论逻辑的必然结果。研究者在使用过程中需要清醒意识到这一局限，研究设计需要重视异质性分析，或结合质性研究来弥补对个体性理解的不足，以平衡这种张力。

这项研究中最值得记录的经验，并不只是ChatGPT给出的分值的统计学分布，而是我们如何一步步让它进入“可以回答问卷”的状态。前期测试发现，如果直接要求ChatGPT填写主观问卷，它会拒绝作答，并提示“作为人工智能，我没有个人意见或偏好，所以无法提供主观评级”。这说明，ChatGPT并不会天然把自己代入“人类”角色，而是需要研究者通过合适的提示语、材料和任务情境进行引导。

因此，在正式实验之前，我们不断调整与ChatGPT的对话方式。比如，先用类似“Let’s play a game! Read the tagline below and answer my questions”的提示语，让它接受具体任务情境；再输入简短、清晰的英文广告刺激材料；随后提供问卷（李克特7分量表），要求它逐项在1到7之间作答。当ChatGPT出现“5或者6”“6或者7”这类不确定回答时，需要进一步追问，或采用平均值处理。当它拒绝给出主观评分时，则将其视为缺失值并重新发起提问。

由此可见，进行AI问卷调查并不是“一键生成数据”。它更像是一个需要被不断校准的研究场景：提示语决定它是否愿意进入任务，刺激材料决定它能否理解情境，题项形式决定它能否稳定作答，而数据处理规则决定这些回答能否被纳入规范分析。研究者真正做的，不只是收集AI答案，而是在反复提问、修正和标准化的过程中，观察ChatGPT如何理解材料、如何形成判断，以及它的回答边界在哪里。

这也引出了一个关键问题：这些答案到底是不是“同源数据”？从信息来源看，ChatGPT掌握了大量文本语料，包括网页、新闻、社交媒体、书籍和百科等内容，因此它并不是基于某个或某类狭窄样本的经验作答，而是基于广泛文本经验形成的综合性判断。从这个意义上说，ChatGPT的回答不能简单等同于“同源信息”或“代表性意见”，它确实具有某种“广泛语料基础”。然而从输出机制看，这些答案显然来自同一个算法模型，并非400个真实、独立的人类样本。它的“广泛性”来自训练语料，而不是现实社会中的随机抽样。它的“样本性”是经过模型压缩和基于概率生成。更准确地说，ChatGPT问卷数据具有“广泛语料基础上的同源生成”特征：它吸收了大量文本经验，但又经由同一算法模型生成，所以仍需警惕答案同质化、分值集中和少数派意见缺失等问题。

这项研究带给我们的另一个重要启发是：利用ChatGPT进行问卷开发和问卷调查，需要研究者充分掌握所需数据信息的产生机制，即了解“数据从何而来”。传统问卷数据来自真实个体，是受访者的生活经验、情绪状态、社会位置和价值观的映射，而ChatGPT生成的数据来自大规模语料、模型参数和提示语共同作用下的模型计算结果。两者都可以形成数字化表达，但其知识来源和解释逻辑并不相同。特别是在旅游研究中，游客体验、情感反应和目的地想象都具有强烈的情境性和个体偏好。AI可以学习大量关于旅游、广告和消费态度的文本表达，因此能够模拟某些社会化、常识化的判断；但它并不真正拥有旅行经历、身体感受和现场情绪。它可以帮助研究者识别一般性趋势，却难以替代真实游客在具体情境中的复杂反应。

也正因为如此，我们认为，评价ChatGPT这类AI工具的价值，不能只看它是否“有用”“好用”或“高效”，而是要进一步追问：它生成的数据代表了什么？它遗漏了什么？研究者提供的刺激材料是否具有特定的情境性？能否支持一般性判断？如果不回答这些问题，AI工具很容易从“辅助研究”变成“制造幻觉式确定性”的来源。因此，AI不仅不能替代真正的研究或削弱研究者的价值。恰恰相反，它对研究者提出了更高要求。研究者需要成为情境设计者、提示语校准者、数据质量把关者和结论边界解释者。模型可以生成回答，但什么样的问题值得问、什么样的回答可以用、什么样的结果需要持怀疑态度，仍然取决于研究者的理论判断、方法论立场以及学术训练。

从这个意义上说，AI是一面放大镜。它放大了研究效率，也放大了研究设计中存在的问题。它帮助我们更快获得反馈，也迫使我们更深入地理解数据，了解其来源、适用范围和解释边界。真正重要的不是让AI替代研究者，而是让研究者学会以更清醒的方式使用AI。

这也是本文希望强调的基本立场：面对新的研究工具，学术研究需要保持开放，但不能放弃审慎。进入ChatGPT这个“时空实验室”，研究者可以充分利用ChatGPT实验室的“时空压缩”机制，开展预备性和探索性研究，提前在“实验室”里开发问卷、测试量表，开展实验刺激寻找突破现实瓶颈的方案，提前发现理论预期中的问题，继而进行现实验证。类似疫苗研发需要从实验室探索走向临床应用，ChatGPT为社会科学研究提供了安全可控的实验室，让我们的理论想象可以得到快速验证或迭代，但它不能替代真实世界中的经验观察，不能替代对数据质量的检验，也不能替代研究者对理论问题的持续追问。回头看，这篇文章的意义并不只是回答“ChatGPT能不能用于问卷调查”，而是希望提供一种更持续的讨论和思考方向：当人工智能进入社会科学研究，我们的态度不能只是热情或焦虑，而是需要把它放进可检验、可比较、可反思的方法框架之中。

“可检验”意味着不能直接只凭直觉判断AI是否有用，而要通过重复实验、数据比较和信效度检验来评估其表现。“可比较”意味着要把AI生成数据与传统方法获得的数据放在同一研究设计中进行对照。“可反思”则意味着即使AI表现良好，也必须继续追问它的样本来源、生成机制和适用边界。AI为学术探索开辟了新路径，但它能否真正转化为研究者的“第三只眼睛”，取决于研究者的理论建构力、行为洞察力、共情能力和同理心。技术会不断更新，但研究所需要的问题意识、方法自觉、边界意识以及最重要的反身意识，仍然是AI不可替代的。