ARTICLE · 1010171
压缩包不大,AI文档解析服务为什么还是爆了
压缩包不大,AI文档解析服务为什么还是爆了
压缩包不大,AI文档解析服务为什么还是爆了
上传入口明明限制了文件大小,解析服务还是会被一份“小文件”拖垮。
因为入口看到的是压缩后的字节。解析器面对的却是展开后的内容。再往后还有文本解码、对象构建、分块和模型调用。资源预算得跟着内容经过的每一层走。
只检查ZIP里记录的展开大小根本不够。真正要防的是嵌套压缩包和海量小成员。我写了个流式计数函数,在超过允许的展开字节数之前就停止交付。但单靠一个数字限制不了底层开销。接收不可信文件的服务,还得有进程级内存和并发限制。
最坑的是下游成本。文档展开后会被切成很多片段,再并行生成向量或交给模型处理。压缩字节、文本字节和模型token数是不同的量。你得把预算拆成几道可观察的门:接收字节、展开总量、页数、分块数量和下游调用次数。
验收文档导入时,别光问“这个文件能不能读”。多问一句它最多能让系统做多少工作,超过以后会停在哪里。
原文压缩包不大,AI文档解析服务为什么还是爆了内存?
北京,5小时前,