夜雨聆风学习资料网

ARTICLE · 1371336

一个不写规则的浏览器插件:把任意列表页导成 CSV

一个不写规则的浏览器插件:把任意列表页导成 CSV

起因很土:工作里经常要把某个系统里的列表导出来做核对,而那个系统只有「上一页 / 下一页」,没有导出按钮。复制粘贴十页之后就一个念头——这东西应该能自动化。

市面上的采集插件大多要求你先配规则:这是列表、这是下一页、这是字段。我不想配。能不能让插件自己猜?

于是有了这个叫「列表导出助手」的 MV3 插件:点一下按钮,它自己去翻包、找接口、翻页、去重,最后吐一个 CSV。


一、先想清楚:猜,能猜到什么程度

网页上的列表无非三种来源:

  1. 接口渲染:JS 请求 JSON,再画到页面上;
  2. 服务端渲染:HTML 里直接有 <table>;
  3. 混合:首屏是 HTML,翻页走接口。

针对 1,我不用去猜 URL 长什么样,只需要站在浏览器和页面之间偷看——把页面的 fetch 和 XMLHttpRequest 钩住,凡是返回体里有「对象数组」的,八成就是列表数据。

针对 2,退一步读 DOM,谁家 <table> 的行最多,谁就是列表。

这是整个插件的两条腿。剩下的全是怎么把这两条腿站稳。


二、MV3 的结构,和那个绕不开的「世界」

manifest.json 里五个文件,各司其职:

{  "manifest_version": 3,  "background": { "service_worker": "background.js", "type": "module" },  "content_scripts": [    { "matches": ["<all_urls>"], "js": ["injected.js"], "run_at": "document_start", "world": "MAIN" },    { "matches": ["<all_urls>"], "js": ["lib/core.js", "content.js"], "run_at": "document_start" }  ]}
  • popup
    :开关、格式选择;
  • background
    :真正发请求的地方(跨域、带 Cookie、持久化状态都在这里);
  • content
    :跑在隔离世界,能读 DOM、能操作页面,但读不到页面自己的 JS 变量;
  • injected
    :"world": "MAIN",跑在页面自己的世界里,能改 window.fetch,但没有扩展 API,连 chrome.storage 都没有。

关键就在最后一行。想钩页面的 fetch,就必须进 MAIN world;进了 MAIN world,就拿不到扩展权限。两个世界之间唯一的通道是 postMessage。

所以架构长这样:

页面 fetch ──(injected hook)──> postMessage ──> content ──> background ──> 真实请求/导出

三、钩 fetch 的时候,别信 Content-Type

第一版我按 Content-Type: application/json 过滤,结果在一个系统上完全失效——它返回 JSON,但头里写的是 text/html。

后来改成「只要不像二进制就试着解析」:

var likelyJson = ct.indexOf('json') >= 0 || ct.indexOf('javascript') >= 0 ||  ct === '' || ct.indexOf('text/') === 0 ||  /[?&](page|pageno|offset|skip|limit|size|rows|draw)=/i.test(url) ||  method === 'POST';

解析失败就静默放弃,代价只是多一次 JSON.parse。另外几个必须加的护栏:

  • res.clone()
    :响应体是一次性的,不 clone 就把页面自己的数据吃掉了;
  • 4MB 上限:超过就不碰,避免大文件把内容脚本卡死;
  • 请求体只留前 4000 字符:后面重放分页请求要用,但没必要留全量;
  • responseType
     判断:XHR 如果是 blob/arraybuffer 就跳过,硬转字符串会炸。

四、怎么判断「这是列表」

不能见到数组就当成列表——导航菜单也是数组。我的土办法是看形状:

// 数组里至少 3 个「对象」或「长度>=2 的数组行」,才算像列表if (Array.isArray(node)) {  var n = 0;  for (...) {    if (x && typeof x === 'object' && !Array.isArray(x)) n++;    else if (Array.isArray(x) && x.length >= 2) n++;   // DataTables 风格的行  }  if (n >= 3) return true;}
  • 普通接口:[{...}, {...}, {...}];
  • DataTables 那种老后台:"data": [["张三", 18, "北京"], ...],行本身是数组;
  • 递归深度限制 6 层,避免在大 JSON 里陷进去。

多个接口同时命中时,取「行数最多、字段最丰富」的那个,并且把候选列在面板上让人可以手动换——猜错了得给人留条退路。


五、翻页:三挡变速

这是整个插件最有意思的部分。翻页按成功率从高到低试三挡:

第一挡:直连重放。既然已经抓到一条列表请求,那就把它当成模板,改分页参数重复发。URL 里的 page/pageno/offset/draw,POST 体里的 page/size/limit,都用正则找出来递增;请求发到 background 里执行,天然带 Cookie,不受页面 CORS 限制。

var msg = { type: 'fetchAll', urlInfo: info, size: 100, maxPages: 300 };

一口气能翻 300 页、每页 100 条。绝大多数后台系统在这一挡就结束了。

第二挡:模拟点击。直连失败(接口带签名、带一次性 token、或者根本不分页只在内存里切),就老实点「下一页」。难点是找到那个按钮:给候选元素打分——文本里含「下一页 / 下页 / next / ›」,aria-label 命中,rel=next,是 button 或 a,在列表下方——分最高的那个点下去。

点之前还要判断禁用态(disabled、aria-disabled、pointer-events: none、文本变成「没有更多」),否则会在最后一页无限空转。

第三挡:无限滚动。滚动容器到底,等新数据;连续两轮没有新行就认为到底。

三种策略在设置里可选,默认是「智能混合」:先直连,失败自动降级,中间弹一句「直连不可用,改用模拟点击」,让用户知道发生了什么。


六、翻到一半挂了怎么办

真实世界的列表页会 401、会限流、会卡在加载中。如果整个采集是一次性的大循环,中间挂掉就前功尽弃。

所以每采一页都做两件事:

  1. 用第一条记录的几个主键字段生成 rowKey,塞进 Set 去重——翻页时列表顺序变化、重复渲染都不会污染结果;
  2. 中断时把已采数据写进 sessionStorage(上限 2 万条),面板上给两个按钮:继续采集、导出已有。

判定「中断」的条件是 stalled(等不到新数据)或任何 error 前缀的结束原因。用户点了「继续采集」,就从已有的 rowKey 集合作为种子接着翻,不会重复。

这个小设计是被人骂出来的——早期版本采集到第 80 页因为登录超时全丢,那个下午我记到现在。


七、不是接口的页面,读 DOM

有些系统真的是服务端渲染。那就退到 DOM:

  • 找 tbody tr 最多的 <table>;
  • 没有 table 就找 role="grid";
  • 再没有就找「结构重复的兄弟节点」,按子元素数量和文本长度打分。

这条路很脏,所以只在接口路线完全失败时启用,导出前允许用户在面板里预览前几行、手动勾掉不要的列。


八、几个花了时间但值得的细节

按钮要融进页面。弹一个悬浮球很容易,但太丑。现在的做法是找列表附近的工具栏,把按钮插进去;背景色从页面取,自动判断深色还是浅色主题,MutationObserver 监听主题切换跟着变。这部分代码比核心逻辑还长,但体验差别是「像个插件」和「像个外挂」的区别。

权限要克制。虽然 host_permissions 是 <all_urls>,但真正干活前会检查当前站点是否在白名单里,不在就只显示提示,不注入面板。

MV3 的 service worker 会被回收。后台空闲几十秒就休眠,长任务必须靠消息续命,不能指望全局变量活着。所以任务状态存在 chrome.storage.session,background 醒来先恢复现场。

CSV 别自己拼。字段里有逗号、引号、换行是常态,转义规则写错一次,Excel 打开就是灾难。统一走 Core.toCSV,列取所有行的并集,缺字段留空。


九、它不完美,但够用

这个插件从没为任何一个具体网站写过适配规则,靠的就是「钩接口 + 猜列表 + 三挡翻页 + 随时可续」。代价是它偶尔会猜错——但在二十多个真实后台系统上跑下来,成功率比我想的高。

下一步想做的是导出前的手动字段映射:让人把接口字段拖到想要的列名上,把「猜」变成「猜 + 确认」。

最后一句提醒:这类工具只适合导出你自己有权访问的数据,用之前先看清目标站点的服务条款,别拿它做不该做的事。


免责声明:本文为个人工具开发记录,不针对任何特定网站,也不提供绕过登录、鉴权或访问控制的任何方法。

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料