不懂代码也能做爬虫?AI 编程工具 + RPA 自动化实战指南

是这样，昨天有朋友咨询我是否有合适的工具可以做数据分析，她的诉求是：

通过抖音分析电影《给阿嫲的情书》的情感切片，比如：

分析官方抖音合集，通过完播率和合集整体播放量（或连看行为），来判断用户对潮汕家族史的兴趣；

同时通过播放进度热力图，观察用户的注意力焦点是“侨批”还是方言，以评估这些元素在传播中产生了多大的‘文化折扣’，或者它们是如何突破地域限制的。

我之前了解过的产品和工具有：

1.巨量算数（抖音官方工具），能分析关键词热度趋势和受众画像。

2.爆款内容拆解：抖查查 / 新抖，可分析热门视频的标题、脚本结构、BGM等，总结爆款公式。

3. 品牌舆情监控：蝉妈妈 /飞瓜数据。

4.但如果是要指定具体的关键词、内容，可能要用到RPA的工具影刀RPA，自动化批量采集整理为Excel数据供深度分析。

但会发现这些工具都没有办法既享受免费服务，又能很好的、直接地爬取到相关数据。作为一枚ENTJ，强执行力的我本着解决问题出发，于是我在github上检索了一番。

找到2个相关的工具，并且尝试了一下：

先说第一个：

https://github.com/cv-cat/DouYin_Spider

功能特性：

✅ 多维度数据采集

◦ 用户主页信息 / 作品详情

◦ 评论区数据（含多级回复）

◦ 智能搜索（视频 / 用户 / 直播）

◦ 关注 / 粉丝列表

◦ 消息通知 / 收藏列表 / 推荐流

• 🎙️ 直播间实时监听

◦ 弹幕消息 / 礼物（含送礼对象）/ 进场 / 关注 / 点赞 / 房间热度

◦ 直播间发送弹幕消息

◦ 直播间点赞

• 💬 抖音私信收发

◦ WebSocket 实时接收私信（文本 / 表情包 / 语音 / 图片 / 分享视频）

◦ 主动发送私信

◦ 创建 / 查询会话列表

• 🤝 互动操作

◦ 点赞视频

◦ 发布评论 / 回复评论

◦ 收藏 / 移动 / 取消收藏作品

• 🚀 高性能架构

◦ 自动重试机制 / 断线重连

• 🔒 安全稳定

◦ 抖音最新 API 适配

◦ 异常处理机制

◦ proxy 代理

• 🎨 便捷管理

◦ 结构化目录存储

◦ 格式化输出（JSON / EXCEL / MEDIA）

项目2：https://github.com/Evil0ctal/Douyin_TikTok_Download_API

【本地部署】

我依然采用的是最简单的方式用QClaw或者TRAE直接帮我安装和部署以上两个工具，作为数据抓取后的相互交叉和补充。

然后登入抖音官方地址，点击F12开启开发者模式。

直接在当前页面的 Console 里执行这条命令：

document.cookie

复制cookie给小龙虾，让它给你绑定和部署。

完成后会返回：

在本地新建好Excel表格，然后给小龙虾下达命令：

过程中会遇到各种问题，需要按需解决，给小龙虾发指令，它会逐个帮你解决，直到测试的视频数据被爬取到Excel表格中，那就说明走通了。

如果小龙虾搞不定，也可以切到AI编程工具上解决问题，例如（用TRAE直接自然语言指挥它进行部署和测试）：

而且还存在很多确实页面上拿不到的数据问题：

鉴于数据缺失，暂且我们先把可获取的数据先落定到本地Excel，我给Trae投喂了需要爬取的视频链接：

返回结果到我指定的Excel列表中：

但这个维度的数据，其实在我看来还是缺了很多内容的，于是我继续让Trae帮我优化（模型选择的是Glm-5.1）：

以上2个github项目都不具备话题/标签API，也不支持评论区数据分析，所以需要用AI编程工具补足这部分需求的开发。且过程中要观察AI爬取的数据维度是否正确，例如我的这次任务就爬取的是头部主播的所有视频，我要的是指定话题关联的视频，给AI下指令：

这个过程中需要AI编程的能力，因为过程中会遇到非常多卡点，需要不断优化，这里消耗了我好几个小时的时间在调试......

索性完成了，终于完成了！！！

开心~~~

所有数据落定到Excel内（飞书只有5W限额）：

等它跑完之后，再把Excel表格丢给AI（国产用deepseek专家版，我自己用的是gemin 3 Pro

）给你做深度的分析即可。

例如：

爱出者爱返，福往者福来！

在帮助他人的过程中，我也在快速学习和转化AI编程、Agent以及数据分析技能！

以上，分享给你，希望对你有帮助！