乐于分享
好东西不私藏

我找到了公众号文章抓取的最新方法(附安装包)

我找到了公众号文章抓取的最新方法(附安装包)

关注「雷一言」 · 分享 AI 工具与真实工作流

这是一言的第 24 期分享

今年 5 月,我写过一套公众号文章监控方案。

选好几个平时常看的号,有新文章就自动收进来,再让 AI 帮我总结、打分和存笔记。当时整套流程已经跑通,之后我也一直在用。

两个多月后,最前面的采集入口 G 了。

7 月 30 日,原项目作者发布停止维护说明。项目依赖的上游接口已经关闭,我原来的分析、推送和知识库都还在,新的文章采集不了。

作者说明上游核心接口已被微信关闭

这里也感谢作者一直以来的维护和分享。

我不想让已经搭好的分析、推送和知识库一起停掉,又找了几天替代方案。

后来,我找到了一条新路线,又拿自己的号跑了一遍。

选择“雷一言”后,页面加载出已抓取的 26 篇文章和阅读点赞数据

这里可以看到,26 篇文章都进了列表。标题、封面、发布时间和原文链接都在,大部分文章的正文和文内图片也保存了下来。

部分文章还带有阅读、点赞数据,有这些数据分析账号也是更加方便了。

今天,我把这个版本整理成了一键安装包。下面就从零开始,带大家一步步把公众号文章抓回来。

01.三步跑起来Quick Start

这次原理是走的是微信读书网页。程序借助当前登录状态读取文章;

只要给它该公众号任意一篇文章的链接,它就会识别名称和账号信息。后续就能获取整个账号的所有的文章

抓取过程不需要购买额外 API,也不消耗模型 Token。目标公众号需要能在微信读书里正常打开。

这两个便携包已经放好运行环境,需要软件可以后台回复【rss】。完整解压后可以直接启动,也不用打开终端。

开始前准备三样东西:

用 Chrome 或 Edge 登录微信读书网页版;
在微信读书里打开目标公众号的一篇文章;
下载对应系统的安装包。
1. 解压后直接启动

Windows 用户完整解压便携包,然后双击:

terminalTEXT
启动 WeRSS.exe

Windows 便携包解压后,双击“启动 WeRSS.exe”

Apple Silicon Mac 用户解压后,第一次右键点击:

terminalTEXT
启动 WeRSS.app

Apple Silicon Mac 便携包解压后,第一次右键打开“启动 WeRSS.app”

选择“打开”,系统再次询问时继续打开。

网页登录

程序准备好后会自动弹出浏览器和《首次登录.txt》。按照文件里的随机账号、密码登录。

项目成功启动后的后台首页,左侧可以看到订阅列表

2. 粘贴一篇文章,确认公众号

进入“订阅管理”,点击“添加公众号”。保持“搜索公众号”选中,再点击“通过公众号文章获取”。

添加公众号

添加订阅页面中,紫框标出了公众号文章链接输入区

把目标公众号任意一篇文章的链接粘进去,点击“获取”。程序会自动填好公众号名称、头像和账号 ID。确认识别结果无误,再点击“添加订阅”。

2. 复制微信读书 Cookie

先打开微信读书网页版,用微信扫码登录。看到自己的书架后,再打开目标公众号的一篇文章。

微信读书我的书架

如果书架里没有公众号文章,需要用手机端,选中一个公众号文章,然后点击右上角三个点出现下面弹窗,然后点击用其他应用打开,打开时候就选择微信读书,

公众号的文章选择微信读书打开

书架里有文章后,就在网页里保持微信读书文章页打开,再调出浏览器开发者工具:

Windows:按 F12 或 Ctrl + Shift + I;
macOS:按 Option + Command + I。

切到“网络”或 Network,然后刷新文章页面。

登录微信读书网页版后打开开发者工具,依次切到 Network 并过滤 mp/articles

在过滤框输入:

terminalTEXT
mp/articles

列表里应该会出现一条包含 /web/mp/articles 的请求。没有看到时,先点击文章页里的公众号名称,进入该号的文章列表,再刷新一次。

点开这条请求,进入“标头”或 Headers。

继续往下找到“请求标头”或 Request Headers,复制 Cookie 后面的完整内容。

从微信读书请求中复制 Cookie,再回到本地页面测试连接

回到本地工具,进入“微信读书管理”。粘贴 Cookie,依次点击“保存 Cookie”和“测试连接”。

微信读书管理页先粘贴 Cookie,再保存并测试连接

接下来不用逐篇添加。程序会沿着这个账号继续翻页,把文章列表和正文保存下来。

我等任务结束后随便打开一篇,段落、图片和原文链接都已经保存到了本地。

从文章列表进入详情页,正文、图片和段落已经保存到本地

02.几个地方会卡住Troubleshooting

我第一次配置时,遇到一些问题和解决方法,跟着操作时,可以按页面现象排查:

搜不到 mp/articles:先打开开发者工具,再刷新公众号文章页;还没有就点击公众号名称进入文章列表。
测试连接失败:重新登录微信读书,再复制一次完整 Cookie。
文章链接识别失败:确认链接以 https://mp.weixin.qq.com/s/ 开头,并且浏览器能够正常打开。
只有标题没有正文:等待几分钟再刷新;单篇失败时可以稍后重新抓取。
返回 -2041、-2012 或 -2010:先停止刷新,稍后重新获取 Cookie。
03.抓回来以后怎么用What Comes Next

我这次先把数据入口打通。后面我会继续拿这批文章做实验:分析高阅读标题、复盘内容结构、提炼博主的选题方法,再把这些经验做成 Skill 交给 AI 使用。

后面跑出有意思的结果,我会一篇篇分享出来。需要软件可以后台回复【rss】

相关学习资料