ARTICLE · 1304528
老登玩AI|同一个模型,裸考0分,接上工具62.7分

Google把同一批地理分析题给了四种配置跑:裸模型0分,给点基本工具3.3分,工具全接上52.2分,完整版62.7分。模型没换,差的是工具层。
同一个模型,同一批题。
一个给工具,一个不给。
0 分,和 62.7 分。
Google 10 月 11 号挂到 arXiv 的这份评测,测的就是这个。它没告诉我们"AI 又变强了",它告诉我们一件更实用的事:劲儿该往哪使。
一、它测的不是"答对没答对",是"流程走没走完"
主角叫 GRA,Geospatial Reasoning Agent,是 Google Earth AI 里负责编排的那一层。
它干的活儿是:把你一句话的问题拆成多步工作流,再去调 Earth Engine 的数据、地理基础模型、各种分析工具,最后把分析计划和数据来源一起摆给你看。
评测设计最关键的一点在这儿——它不看最后答得对不对,它看有没有按行家该有的流程走完。
Google 自建了一个叫 GeoExpertQueries 的题库:76 道测试题加 25 道开发题,每道题都配了三位独立专家商量出来的标准流程,再让一个人工校验过的自动评分器去比"Agent 有没有走完该走的步骤"。
这个设计挺狠的。
因为"结果对"可以蒙,但"步骤对"蒙不出来。一个不会做空间分析的人,就算凑出了一个看着像的结论,中间该做的投影统一、该做的拓扑检查、该做的量算口径确认,他一步也想不起来。
二、四组配置,同一个模型,差了 62 分
同一批题,Gemini 3.8 Flash,跑三次取均值:
裸模型那个 0 分,不是偶尔失手,是每个领域、两款模型全是 0。
基本工具版也好不到哪去——超过八成的题,三次测试全部拿零分。
给点基本工具,等于没给。 这句话值得所有准备"接个聊天框就上业务"的人看一眼。
三、一个反直觉的细节:规划对小模型加分,对大模型减分
还有个细节挺有意思。
前置规划对 Gemini 3.8 Flash 是加分项:52.2 涨到 62.7,多了 10.5 分。
但对更强的 Gemini 3.1 Pro,它反而扣了 3.2 分。
怎么理解?
"把活儿拆清楚"这件事,是给能力一般的模型兜底的。模型本身就强的时候,你硬塞一套流程反而碍事。
这条对我们做落地的意义很直接:别追求"一套通用工作流打天下"。模型档位不同,该给的结构化程度也不同。用弱模型要喂流程,用强模型要给空间。
四、一个真实案例:几分钟 vs 几周
刚果(金)埃博拉疫情期间,WHO 非洲区办公室用 GRA 标出了 48 个暴露定居点、45,500 多名风险人群。
官方说法是几分钟。同类的人工流程,要几周。
这个案例值得细看,因为它不是"AI 画了张图",是"在多源数据里快速筛出该看哪儿"。
筛出来之后,该谁去、怎么处置、要不要隔离,还是人的事。
五、国内这边,规矩已经写到纸上了
你可能会说,Google 那套 Earth Engine 我也用不上。
别急,看国内。
2026 年 10 月 16 号,自然资源部在自然资源标准化信息服务平台挂出了《国土空间主题数据规范(征求意见稿)》,意见截止 11 月 16 号。
这份规范把国土空间数据分成五层——基础数据、对象要素、数据集、应用场景、业务域;业务域划成调查测绘、权属管理、规划管理等八大类;空间对象必须有一个不随流转变化的全局唯一标识符。
跟咱们这行最相关的两句,我摘出来:
共享服务提供标准接口服务、数据定制服务和知识智能服务三类,其中知识智能服务通过 MCP、SSE 等接口支撑智能问答与内容生成。
涉及大模型训练和推理的,须建立全流程操作记录与审计机制,并对训练数据筛查投毒、后门等恶意内容。
看懂没?
MCP 就是 GRA 那套"把工具挂给 Agent"的接口范式,SSE 是流式返回。规范等于在说:以后智能问答不是你随便接个聊天框就行,工具得标准化挂上去,过程得留痕可查。
这跟 Google 那份评测,是同一件事的两面:
工具层不规范,Agent 就是个会编地名的聊天机器人;过程不留痕,出了事你连哪一步算错的都查不出来。
六、怎么上手:别等大厂开放,先把本地这套跑起来
GRA 现在还是限量早期访问,咱也申请不着。
但"给 GeoPandas 上工具约束"这件事,今天就能干。
推荐一个我这两天在盯的:k-dense-ai/scientific-agent-skills。里面有个专门的 geopandas 技能,SKILL.md 里把 GeoPandas 1.2.0 的可复现环境钉死了(Python 3.12、uv、9 个固定版本依赖),还带了六个只出报告、不写文件的审计脚本:
bash npx skills add https://github.com/k-dense-ai/scientific-agent-skills --skill geopandaspython skills/geopandas/scripts/vector_inventory.py data.gpkg # 图层技术清单 + 源哈希python skills/geopandas/scripts/crs_reprojection_plan.py data.gpkg # CRS 单位/轴向/候选变换方案python skills/geopandas/scripts/geometry_validity_report.py data.gpkg # 几何有效性体检python skills/geopandas/scripts/spatial_join_audit.py points.gpkg zones.gpkg --predicate withinpython skills/geopandas/scripts/export_plan.py data.gpkg result.parquetpython skills/geopandas/scripts/sensitive_coordinates_checklist.py data.gpkg
这六个脚本的设计思路很对味:先规划,再执行;成功只代表"计划通了",不代表文件已经写了。
跑空间连接之前先量一遍连接基数,导出之前先过一遍契约,敏感坐标要过发布闸门——全是我们做国土空间数据、做耕地保护红线校核时该有而没有的流程。
顺带一句:之前提过的 muend/geoai-skills 这周多了一个 star(现在 33),被 Awesome Claude Code 收录了,最新提交停在 10 月 17 号。跟上面这个是同一条路子,可以对照着看。
七、说到底
Google 那份数据最扎心的一点是:
把工具接上,分数从 0 跳到 52;换个更强的模型,分数涨不到哪儿去。
我们这行攒了二十年的坐标系常识、拓扑规则、面积量算口径,就是那个"工具层"。
AI 是来接这一层的,不是来替这一层的。
一个天天跟 shp、gdb、投影参数打交道的老登说:模型的分数是买来的,工具层的分数是攒出来的。
📌 互动一下:你手上有没有那种"跑得通但结果明显不对"的活儿?
信源:Google Earth AI Geospatial Reasoning Agent 评测(arXiv:2610.15750,2026-10-11);Google 官方博客(2026-10-14);《国土空间主题数据规范(征求意见稿)》公开征求意见(自然资源标准化信息服务平台,2026-10-16,意见截止 11-16);k-dense-ai/scientific-agent-skills;muend/geoai-skills。文中评测数据为 Google 公开发布口径,规范条文以征求意见稿原文为准。















































































