夜雨聆风学习资料网

ARTICLE · 1044721

网友“晒积水”,AI 来读帖:爬虫+大模型把全城积水装进一张风险地图

网友“晒积水”,AI 来读帖:爬虫+大模型把全城积水装进一张风险地图

AI × METEO · NO.12 · 2026 Vol.49(5)

网友"晒积水",AI 来读帖:爬虫+大模型把全城积水装进一张风险地图

基于Scrapy与UIE的城市暴雨积水点实时采集处理技术与应用

气象与环境科学 · 中国科技核心期刊

一句话结论:暴雨来时,社交媒体上网友随手发的"这条路淹了"其实是宝贵的实时观测。这项研究用 Scrapy 爬虫从抖音、微博、搜狐等 6 个渠道自动抓取积水舆情,再用经气象语料微调的 UIE 大模型把碎片化文本抽取成"位置+时间+深度"三要素——分钟级抓取、10 分钟内完成结构化入库,已沉淀北京、上海等 15 个重点城市近 2000 条积水记录,并在武汉"4·9"暴雨个例中用记者报道成功订正了模拟结果。   

城市内涝是暴雨季最直接的威胁——郑州"7·20"特大暴雨的教训犹在眼前。可传统积水监测主要靠专业观测设备,投入大、运维贵、覆盖有限;遥感在水陆边界处"犯迷糊",视频监测怕雨滴干扰。而暴雨期间,互联网上自发涌现的海量积水帖文实时性强、覆盖广、几乎零成本,却语义碎片化、地名简写、信息隐含,传统"关键词匹配"根本读不懂。怎么办?让爬虫去"跑",让大模型去"读"。

01|爬虫管道:6 个渠道,平均 3 分钟抓完一轮

基于 Scrapy 框架构建的多源采集管道,融合门户网站、社交媒体与搜索引擎,引入动态渲染技术攻克复杂环境下的数据获取难题;系统采用小时级任务调度,对 6 个渠道的舆情数据平均 3 分钟内完成爬取。分层架构设计让采集、处理、存储各司其职,为后续的智能抽取打好地基。

图1 积水数据采集爬虫架构|图源:原文

02|UIE 抽取:大模型把"碎帖子"读成"数据表"

抓回来的文本五花八门:"小区门口淹了半米深""xx路口积水没过轮胎"……研究引入经气象领域语料微调的 UIE 通用信息抽取模型,无需编写复杂规则,即可从口语化、碎片化文本中精准识别积水点位置、积水形成时间与积水深度三大关键要素(见系统定义的积水数据模型)。处理全链路时延控制在 10 分钟内完成结构化入库,配套的数据清洗策略负责去重、辨伪与时域对齐。

表1 系统定义的积水数据模型|图源:原文

图2 暴雨积水点实时采集系统总体架构图|图源:原文

03|实战检验:武汉"4·9"暴雨,30 厘米实况订正模拟

2026 年 4 月 9 日,湖北武汉局地大暴雨(100~147 mm,最大小时雨强 30~53 mm)。系统从腾讯网抓到记者实地探访:硚口区解放大道旁一小区门口出现深约 30 cm 的积水——记者报道公信力强,系统即以此订正了风险识别模型 44.3 cm 的模拟输出;当日 11 时的全国实时积水风险指数图上,武汉附近被标为较高风险级别(27~40 cm)。一个真实暴雨夜,"网友晒图 → AI 读帖 → 风险地图"的完整闭环就此跑通。系统已在四川、天津、江西等地试用,反馈良好。

图3 全国实时积水风险指数图(2026 年 4 月 9 日 11 时)|图源:原文

原文信息 · 一键溯源

题  名
基于Scrapy与UIE的城市暴雨积水点实时采集处理技术与应用
作  者
章芳,李志敏,陈宇,薛伟,黄琰,于廷照
单  位
1. 中国气象局公共气象服务中心;2. 安徽工业大学计算机科学与技术学院
期  刊
章芳, 李志敏, 陈宇, 等. 基于Scrapy与UIE的城市暴雨积水点实时采集处理技术与应用[J]. 气象与环境科学, 2026, 49(5): 94-101.
D O I
10.16765/j.cnki.1673-7148.2026.05.011
基金
国家重点研发计划项目(2024YFE0106600);中国气象局公共气象服务中心创新基金项目(Z2023002)

🔎 相似推荐 · 延伸阅读

以下论文发表于本刊近年,主题相近,欢迎点击阅读:

  • 郭冰芳, 朱业玉, 郭佳文, 等. 基于分钟数据的郑州场次降水事件特征分析[J]. 气象与环境科学, 2025, 48(3): 1-10.
  • 邓彪, 孙蕊, 蔡怡亨. 1990—2022 年四川省气候年景指数变化特征[J]. 气象与环境科学, 2025, 48(6): 11-19.

📮 关注「气象与环境科学」

第一时间获取论文摘要 · 行业研究热点 · 期刊最新动态

投稿网址:qxyhjkx.cnjournals.com邮箱:zzhnqx@126.com电话:0371-65922877

本文内容由编辑部基于论文改写 · 图表引自原文 · 数据与结论以原文为准

《气象与环境科学》编辑部 · 2026 年 9 月

相关学习资料