AI 自动化工具选题调研研究

项目背景

在开发工具网站时，经常会遇到一个问题：

下一步应该开发什么工具？

之前总是凭感觉选择工具：

• JSON 格式化
• CSS 格式化
• 二维码生成器
• Base64 编解码
• 图片压缩
• 时间戳转换

但实际情况是：

• 有些工具搜索量很高
• 有些工具竞争极其激烈
• 有些工具用户需求很弱
• 有些工具开发后几乎没有流量

如果每次都靠人工搜索、阅读文章、分析竞品，再决定是否开发，会浪费大量时间。

因此，我决定构建一套自动化工具网站生产线。

而本项目就是整个生产线的第一步：

自动化工具选题调研系统。

生成的样本报告如下：

项目目标

输入一个工具名称：

python research.py "二维码生成器"

自动完成：

搜索互联网资料↓抓取页面内容↓AI 分析市场情况↓生成调研报告↓判断是否值得开发

最终输出：

是否已有该工具主流功能用户痛点技术难度开发建议

从而帮助快速筛选值得开发的工具项目。

整体流程

整个脚本的工作流程如下：

输入工具名称        ↓Tavily 搜索        ↓获取相关网页        ↓Tavily Extract 抓取正文        ↓Qwen 分析内容        ↓生成调研报告        ↓保存 TXT 文件

对应代码中的主要模块：

search_topic()extract_pages()analyze_and_report()research()

技术栈

本项目使用以下服务：

服务	作用
Tavily	搜索互联网资料
Tavily Extract	抓取网页正文
Qwen Plus	分析内容并生成报告
Python	串联整个流程
dotenv	管理 API Key

环境准备

安装依赖

pip install tavily-pythonpip install openaipip install python-dotenv

或者：

pip install tavily-python openai python-dotenv

配置 API Key

项目根目录创建：

.env

内容如下：

cat > .env << 'EOF'# Tavily API KeyTAVILY_API_KEY=你的tavily_key填这里# 阿里云百炼 API KeyDASHSCOPE_API_KEY=你的百炼key填这里EOF

为了防止密钥泄露：

chmod 600 .env

权限说明：

600├─ 当前用户：可读可写├─ 同组用户：无权限└─ 其他用户：无权限

这样 API Key 不容易被误读或上传。

为什么要维护现有工具列表

脚本中有这样一段配置：

EXISTING_TOOLS = """..."""

例如：

JSON格式化CSS格式化HTML格式化JS格式化日期时间戳转换

其目的并不是展示。

而是告诉 AI：

我的工具站已经有哪些工具。

这样分析时可以避免出现：

建议开发 JSON 格式化工具

这种重复推荐。

未来这里还可以改造成：

自动读取 Django 路由自动读取数据库自动读取工具目录

无需手工维护。

第一步：搜索互联网资料

函数：

search_topic()

例如输入：

二维码生成器

脚本会自动构造多个搜索关键词：

二维码生成器 online tool features二维码生成器 user needs requirements 2024二维码生成器 best implementation comparison

然后交给 Tavily 搜索。

获取：

标题URL摘要

等信息。

目的：

尽可能了解该工具的市场情况。

第二步：抓取网页正文

函数：

extract_pages()

搜索结果只有摘要。

摘要往往不足以判断：

功能特点用户需求实现方式用户评价

因此脚本会进一步抓取网页正文。

例如：

https://example.com/tool-review

经过 Tavily Extract：

HTML↓清洗↓纯文本正文

然后保存下来供 AI 分析。

第三步：AI 分析

函数：

analyze_and_report()

这里使用：

Qwen Plus

进行分析。

脚本会把以下内容一起发给模型：

现有工具列表+搜索结果摘要+网页正文内容

并要求生成结构化报告。

AI 输出内容

报告主要包含六部分：

1. 是否已有该工具

判断：

网站是否已经拥有类似功能

避免重复开发。

2. 主流功能

分析竞品最常见的功能。

例如二维码生成器：

自定义颜色自定义 LogoSVG 下载批量生成动态二维码

帮助确定 MVP 功能范围。

3. 用户痛点

分析用户最常抱怨的问题。

例如：

广告太多无法批量生成下载收费图片模糊生成速度慢

这些往往就是差异化机会。

4. 开发价值判断

分析：

需求是否存在竞争是否激烈是否值得投入

例如：

值得做谨慎做不建议做

5. 技术难度评估

帮助预估开发成本。

例如：

前端实现难度后端实现难度第三方依赖部署复杂度

6. 开发建议

最终给出结论：

做不做有条件地做

并附带原因。

使用示例

运行：

python research.py "二维码生成器"

终端输出：

==================================================调研课题：二维码生成器==================================================[1/3] 正在搜索[2/3] 正在抓取页面[3/3] 正在分析

完成后：

调研报告：二维码生成器

并自动保存：

report_二维码生成器_20250701_103015.txt

方便后续查看。

在整个自动化工具站中的位置

这个脚本只是第一步。

未来完整流程规划如下：

research.py调研选题        ↓generate_requirements.py生成产品需求        ↓generate_code.py生成代码        ↓generate_test.py自动测试        ↓deploy.py自动部署        ↓生成新的在线工具

最终目标：

发现需求↓分析需求↓生成需求文档↓生成代码↓自动上线

形成完整的 AI 自动化工具网站生产线。

当前版本定位

当前脚本属于：

Milestone 1

核心目标不是自动开发工具。

而是解决：

什么工具值得开发？

这个问题。

在工具网站建设过程中：

选错方向的成本往往高于写代码的成本。

因此，一个自动化调研系统能够帮助提前过滤掉大量低价值项目，把时间投入到更有潜力的工具上。

项目总结

本项目实现了一个简单但实用的自动化调研系统：

输入工具名称↓自动搜索资料↓自动抓取网页↓AI 分析市场↓生成调研报告

它并不负责生成代码。

它负责回答一个更重要的问题：

这个工具，到底值不值得做？

这是整个 AI 自动化工具站生产线的起点。