AI能判断文档有没有用,为什么还排不好搜索结果?新研究揭示原因

检索系统召回一批文档后，还要把更能回答问题的内容排到前面。System One 决策模型可以预测每篇文档能回答查询的概率，看起来也能承担重排。但概率与实际相关程度有多一致，以及相关文档能否排在前面，是两种不同的能力。这项同骨干对照测试分别检验了它们。

同一预训练来源，比较三类模型

测试覆盖六种0.6B至27B的 Qwen 模型，比较未针对决策或排序微调的已发布聊天模型、Kev/Clef 决策模型，以及 Qwen3-Reranker、Prism 和研究自训的重排模型。所有系统重排同一批 BM25 前100个候选，评测涵盖五个 TREC DL 年度集合和五个 BEIR 集合。nDCG@10衡量前十名的排序质量，越高越好；下文按原表乘100的分数报告。

[图1：System One 模型如何重排，以及本研究比较什么] 左侧展示两种输入方式：单篇模式只看查询和一篇段落，联合模式同时看到100篇候选，但仍为每篇输出概率，再按概率排序；图内概率仅为示意。右侧比较同一预训练来源的聊天模型、决策微调和重排微调，同时评价排序质量与概率校准。

图1

这里控制的是模型来源和候选文档，训练数据、目标及提示并未完全对齐。决策模型学习多种状态下的判断，重排模型则针对相关性标签训练。研究还用普通 LoRA 配方自训9B和27B重排模型，其中9B用于对照已发布模型。因而结果比较的是现有微调方案，不能把差异全部归因于某一种损失函数。

0.6B至9B，专项重排微调排序更好

在这一区间的每种骨干上，重排模型的十集合平均分，都高于同骨干决策模型各配置中的最佳平均分。这里的配置包括不同决策模型及两种输入模式。0.6B上，Qwen3-Reranker 为56.1，Kev 为27.3，相差28.8个分数点；9B上，Prism 为59.0，Clef-Flash 为53.8，相差5.2点。这是nDCG分数差，不是准确率提升。差距也出现在未用于这些模型微调训练的 TREC-COVID、Touché 和 DBPedia 三个集合上。

[表1：同一骨干的未微调模型、决策微调模型与重排微调模型（nDCG@10，乘100，BM25前100个候选）] Avg为十集合平均，ZS为上述三个零样本集合平均。灰、红、蓝行分别为未专项微调、决策微调和重排微调；Ours为研究自训模型。每组每列粗体为最优，下划线为次优；星号表示重排模型相对该骨干平均分最好的决策模型，经Holm校正配对t检验达到p<0.05。

表1

27B的结果接近：Kev 联合模式为60.1，自训重排模型为59.6，未专项微调的聊天模型为56.4。研究没有据此认定决策微调胜出，也不能简单归因于规模变大：27B的微调方式、起始检查点和训练上下文都与较小的 Kev 不同。

概率校准优势会随相关性问法变化

概率校准要求模型报出的概率与实际相关比例相符，例如被打成0.8的一组文档，应有约八成相关。按“这篇能否回答查询”提问，4B及以上的决策模型比已发布的重排模型校准得更好。换成 S1Rank 的问法，把相关性放宽到“回答查询，或包含直接回应查询的信息”，这项优势不再稳定成立。排序变化较小，概率的绝对数值却明显变化。

[表4：问题措辞的消融研究] Rel.为S1Rank较宽的相关性定义，Ans.为“文档是否回答查询”，Δ为Ans.减Rel.。Avg和DL分别为十集合与TREC DL平均排序分数；ECE越低代表校准误差越小，Count为相关段落数量估计的平均绝对误差。以Kev-27B联合模式为例，排序平均分从61.1到60.1，仅降1.0点，ECE却从0.156降到0.076；两者变化不同步。

表4

重排选型要同时验证排序和阈值筛选

若目标是把相关文档排到前面，本次0.6B至9B测试支持专项重排微调。若要按概率阈值筛掉文档，还应另测保留集合的质量。固定保留概率不低于0.5的候选时，至9B仍是重排模型的集合F1更高；27B排序接近时，Kev的校准优势则有用：F1为57.2，自训重排模型为48.3，均按乘100报告。F1衡量保留集合的精确率与召回率，不能直接当作段落数量。

结论限于本次已发布模型、BM25前100候选与相关性标注。校准只在 TREC DL 的已判定样本上测量，使用一种相关等级划分和固定阈值，问法也只比较两种；自训模型每种只训练一次。它没有证明所有决策模型都不适合检索，也没有给出同任务速度或成本优势。实际选型仍需用自己的候选集验证排序、阈值效果及运行开销。