生成式AI能否在社会科学领域进行有效的质量评估?以LIS学科为例

1.引言

GAI技术的快速发展为学术评价开辟了新的可能性。现有研究表明，GAI可以在一定程度上辅助传统的同行评审流程，尤其适用于自然科学和工程领域，这些领域研究成果结构化程度更高，评价标准相对规范。因此，GAI在生物医学、医学、计算机科学、地理学、数学和化学等领域表现突出，特别是在评价创新性、原创性和社会影响方面。然而，该研究方向仍存在两大局限。首先，现有样本多集中于自然科学和技术科学领域，在社会科学语境中的验证尚显不足。不同于自然科学研究，社会科学研究往往受到实证主义、解释主义和批判认识论范式的影响，具有认识论更复杂、价值观更为多元的特征。这意味着社会科学领域应采用更为细致的评价方法。其次，当前研究主要侧重于内容层面的评价(如新颖性、原创性)，而涵盖长期维度的质量评价(如学科影响、实践指导)仍严重缺乏。长期维度的质量评价存在的固有特征——时间跨度长、评价指标模糊、高度依赖专家判断和情境理解，导致其仍是学术评价中成本高昂且发展不足的一个环节。这种更全面的质量评价方法亟需智能技术支持。

为弥补这些不足，本研究以图书馆与信息科学(LIS)领域为例，探讨在社会科学领域使用GAI进行质量评价的有效性。基于“中国社会科学优秀文献全文数据库（CSSEFD）”和“哲学社会科学经典文献数据库(CLD)”，本研究构建LIS领域再版论文(RPs)和经典论文(CPs)的标注数据集，并通过提示词工程引导GAI对其学术质量进行评价。

本研究围绕三个核心问题展开：

RQ1：在对高质量社会科学论文进行分类时，GAI与专家判断的契合度如何？

RQ2：AI赋予的质量评分与被引用次数及下载量之间是否呈正相关？

RQ3：哪些类型的LIS论文会更容易获得GAI更高的或更低的质量评分？

在数据采集与分析阶段，本研究构建了一个融合专家评审与GAI评价的混合框架。

数据采集阶段，本研究选取了CSSEFD作为高质量文献数据集(RPs)的基准数据集，以及CLD作为高质量论文黄金标准数据集(CPs expert)。通过跨库比对与补充，最终形成包含2844条图情档领域高质量论文的数据集(RPs)与510条专家鉴定的元数据集(CPs expert)。在此基础上，选用GPT-4o和DeepSeek-V3两种GAI模型，严格遵循CLD的四个质量评价维度，每篇论文的标题与摘要由两个模型独立进行五轮评价。同时，本研究从中国知网获取了所有高质量文献数据集(RPs)的引用次数和下载次数，以支持后续的学术影响力分析。

分析层面，研究围绕三个核心问题展开。针对研究问题一，将GAI模型的决策(被归类为高质量论文，RPs AI)与CLD中专家标注的高质量论文集(CPs expert)进行对比，设计了六种分类策略以增强稳健性，并通过精确率、召回率、F1分数和ROC曲线下面积(AUC)等指标衡量自动化评价系统的准确性和与人类评价结果的一致性。针对研究问题二，将论文分为专家标注高质量论文(CPs expert)、AI识别高质量论文(RPs AI)以及普通论文(RPs)三组，对被引次数和下载次数进行标准化处理后，运用多种统计检验方法比较两两组间差异。针对研究问题三，结合关键词演变分析与词语联想主题分析，比较CPs expert与RPs AI两组论文中的高频词。在文本处理上，采用分词工具分别处理中英文文本，并运用Bootstrap重采样方法克服样本量不平衡问题，最后由研究人员对高频术语进行人工聚类，归纳出高质量论文的研究方向与知识参考价值特征。

关键词分析、桑基图与词语联想检验(WATA)共同揭示了GAI明确的语言与主题偏好：

> GAI倾向于给高分：聚焦微观与中观的实践导向，善用专业技术术语、方法框架、数据、模型、体系构建等内容，并采用客观化、实证化的表达方式；    

总之，GAI对形式化、工具化、技术化、实践导向的文本特征高度敏感，而对深层理论创新、制度逻辑与人文价值的识别能力较弱，呈现出明显的表层语言偏向。

4.讨论

本研究存在三方面局限：首先，仅以标题与摘要为输入，未纳入全面内容；其次，样本仅限LIS单一学科；第三，采用未做领域微调的通用GAI模型。

未来可沿三条路径推进：首先，构建领域专家语料库微调模型并结合图RAG增强语境理解；其次，系统识别并缓解评价偏差；第三，开展对照实验，检验基于大语言模型(LLM)评价的可操纵性，建立相关防范机制。

本研究首次系统性地揭示了GAI模型与人类专家在社会科学学术质量评价的评价标准和模式方面存在可量化且不可忽略的差异。这些差异不仅反映出准确性问题，还反映出GAI在解读学术文本时对语言结构和模式识别的偏好。方法论术语、技术路径和操作描述清晰的论文，GAI倾向于赋予更高的分数。但是GAI显著低估了侧重于宏观理论视角、深层社会背景嵌入和制度机制探索的论文。这一发现为定义GAI在社会科学学术评价中的作用提供了新的实证基础。

从理论贡献的角度来看，本研究表明，GAI驱动的学术评价领域亟需开展更为精细、目标导向的分类研究，方能得出可靠且可解释的结论，尤其在评估研究的长期社会影响与科学影响力时更为关键。同时我们揭示的语言结构偏好，体现了GAI在深度解读非结构化文本时的边界条件，为构建具有语境感知和跨维度推理能力的学术评价GAI奠定了可解释的理论基础。

在实践贡献方面，本研究为学术机构、图书馆、资助机构和科研管理机构提供了重要的指导：在使用GAI进行学术文献筛选、研究趋势预测或学术资源分配时，应充分认识到GAI偏好模式可能导致的方法论-实践导向偏差。此外，虽然GAI能够在一定程度上识别具有短期学术关注潜力的文献，但它系统性地高估了未被专家共识认可的成果，并将被关注与产生效用混为一谈。尽管GAI在新颖性和原创性等静态内容质量评价方面表现尚可，但长期质量指标属于动态的、历史性的、高度依赖专家智慧的判断范畴，GAI的替代能力仍然有限。

研究结果表明，目前GAI还无法取代人类专家对社会科学学术研究理论深度和社会背景的深刻理解，应被视为一种同行评议的辅助工具。这种理解不仅有助于制定AI辅助学术评价的风险管理策略，而且为设计人机结合的学术评价机制提供了实证依据，从而确保研究评价和资源分配在技术效率和学术可信度之间取得平衡。