夜雨聆风学习资料网

ARTICLE · 1230475

别把 PDF 直接丢给 AI,实测浪费 70% Token!

别把 PDF 直接丢给 AI,实测浪费 70% Token!

事情是这样的。

这两天我手里堆了一堆 PDF,全是行业报告和政策文件,要喂给AI做总结。最开始我图省事,直接拖进去就问,钱烧得挺快不说,它还隔三差五给我来一段牛头不对马嘴的答案,读起来特别流畅,其实全是编的。

后来我换了个做法,先把 PDF 转成 Markdown 再喂。几十页的文档,token 能省下来一大半,串段的情况也肉眼可见地变少了。

但用了一阵我发现,这招不是谁都适用。有两类 PDF,转完比不转还亏。

所以今天干脆把这套方法完整写一遍,包括一条可以直接复制去用的指令。

先给能直接用的一段。

我折腾下来觉得最省力的地方,不是学会那个转换工具,而是把装工具这件事也一起外包给 AI。你直接把下面这段丢给它就行。

帮我装一下微软的 markitdown,命令是 pip install 'markitdown[all]',Python 版本不够或者报错,你问 workbuddy 几分钟就能解决,装完转个测试文件确认能用,再教我怎么用。

我第一次这么干的时候愣了一下。最烦的从来不是转换本身,是配环境,而现在这一步也能甩出去。

不过这招是有边界的。转对了才省,转错了比不转更亏,这两件事中间隔着一道挺深的沟。

先说钱。

同样一份3页的 PDF,只抽取文本大概1000个 token,走完整的视觉模式大概7000个。七倍。

大全新业务:https://daquan.czvip.cn

差的这六倍哪来的呢,视觉模式下模型拿到的是每一页的图片,你等于在用看图的价钱读一段文字。页眉、页脚、水印、公司抬头、大片空白,这些东西你一个字都不想让AI看到,但它们老老实实占了你的额度。

所以转一下 markdown,把结构留住、把版面的垃圾扔掉,这笔账是真的划算。一份 1400 多 KB 的技术文档,转出来大概 63.9KB,一万六千个 token 上下,一秒多就完了。

顺带说一句,为什么不干脆抽成纯文本。因为 markdown 里那些 # 和 | 几乎是白送的,一个井号就告诉模型这块是标题,一个竖线就告诉它这是表格的边界,模型不用自己去猜哪行是正文哪行是页眉。这也是 markitdown 这类工具存在的意义,缺的从来不是解析器,是一个统一的中间格式。

真正花钱的不是这一笔。

真正狠的,是你省了钱,然后读错了。

PDF这个格式吧,它根本不是文档,它是排版结果。里面没有「标题」这个东西,也没有「表格」这个东西,只有一堆带着坐标的字形,这个字符、这个字号、画在这个位置上。人看的是版面,AI读的是文本层,这两件事从一开始就不是一回事。

所以大多数提取工具干的事是,把所有文字按纵坐标从上往下排一遍。单栏没事,一碰到双栏论文就炸了。

左栏第37行和右栏第37行,纵坐标几乎一样,于是它俩就背靠背出来了。左栏的后半段硬接右栏的前半段,句子从中间被劈开,一段话里混着两个完全不相干的章节。

最要命的是,字全对。

一个字都没错,就是顺序全乱了。你要是拿这个去让AI总结,它不会告诉你它读错了,它会给你一份特别流畅、特别自信、每一个字都有出处、但结论完全是编的摘要。

这个坑,转换救不了。因为很多转换工具本身就是这么排序的。你转出来的 markdown 再省 token,它读的还是那堆串了段的文字。

所以到底谁该转,谁折腾一天不如不转。我自己是这么分的。

纯文字的政策文件、行业报告、论文正文,这类最值,闭眼转。省下来的全是垃圾字符,结构还给你留住了,AI 在海量 markdown 上训过,对这种格式有天然的语感。

表格当主料的,财报、报价单、排期表,别走 markdown 这道桥。宽表、合并单元格在转换里是最先散架的东西,你转完还得手动核对一遍,何必呢。直接把原始 CSV 或者 Excel 给它,或者更省事,你要用哪几列就复制哪几列贴进去。

排版本身就是证据的,扫描件合同、盖章件、图特别多的讲义,也别转。OCR 是有损的,数字还在,但页码、条款位置、表线的对应关系全挪位了。这种就让AI用视觉去读原文件,只是引用到的关键数字,一定要回原文件再对一遍。

还有一种情况最容易被误诊。几百页的书丢给AI做总结,前几十页说得头头是道,越往后越含糊,结尾基本靠编。很多人以为这是格式问题,其实不是,你踩的是上下文窗口的坑。转成 markdown 它照样烂尾。这种得按章节拆开问答,或者干脆建个可引用的资料库,跟转格式没关系。

回到开头说的那个思路。真正的省力点不在工具本身,在于你不用真的学会它,只要学会把安装、转换、验证这几段一段段交给AI就行。

输入格式决定AI读不读得懂,这话今年我越来越信。

我自己这边常年帮人折腾 Claude 和 GPT 的会员,用得最多的那批人,反而对这些细节最上心。不是因为他们抠,是因为量上去了,一个百分点的浪费都是真金白银。你要是也在天天喂文档,欢迎来找我聊聊。

大全新业务:https://daquan.czvip.cn

质保 30 天不掉订阅,掉订阅,按天退差价

省下来的 token 是小事,别让AI在串了段的文字上给你编一份漂亮的答案,那才是大事。

我是大全,如果觉得不错,随手点个赞、在看、转发三连吧,谢谢你看我的文章,我们,下次再见。

相关学习资料