朋友问哪家PDF提取靠谱，我跑完620份,结果

昨晚一个做金融 SaaS 的朋友问我，现在哪家 PDF 提取最靠谱。我打开几家头部厂商的官网一看，好家伙，每家 Leaderboard 都显示自己排第一，准确率清一色 95% 起步。

同一个 PDF，五家说自己第一，这榜单纯属赛博斗蛐蛐。刚好 Datalab 放出了 OmniExtractBench，一个专门治这种“自说自话”的开源基准。跑完我第一个感受是：这玩意儿，戳穿了太多人的底裤。

它把市面上 4 套数据合并，凑了 620 份文档。最狠的是评分逻辑：不看你在第几行，而是看内容跟标准答案哪一行最像，先把行对应上再打分。就算你整体位置偏移了，只要内容对，照样给高分。

它还把错误分了六类，连“瞎编”和“多填”都算错。很多厂商吹的高召回率，背后就是宁多勿少，这下漏洞全被堵死了。不过它只提供评分器，不包 API，想测还得自己掏钱买额度。

你想验证哪个厂商的分数，自己花钱去跑，跑完把结果贴出来。