以周报形式记录本周在 AI 工具及数据平台建设中的实践、踩坑与思考。
一、行业数据后端采集平台
✅ 本周完成
1. NONGYIN(农银人寿)SSL 修复并验收
上周遗留的阻塞问题本周彻底解决。根因是 Python 3.12+ 默认禁用 OP_LEGACY_SERVER_CONNECT,而农银人寿官网 SSL 配置过旧。修复方案:在 base collector 新增可覆盖方法 _create_ssl_context(),NONGYIN 子类中启用旧版重协商选项。
验收结果:
首次采集 COLLC78BAA969711:插入 127 条,failed_count=0重复采集 COLL8548BB327383:unchanged_count=127(幂等性通过)DB 核验:127 条 / 50 产品 / 2023-2025 / 0 异常 ✅
2. CMRH(招商仁和)认证失效,顺利验收
此前被 resCode: 1000 拦截的 API 认证机制已失效,无需 Authorization token 即可直接采集。
验收结果:
首次采集 COLL164D8950822A:插入 124 条,failed_count=0重复采集 COLL153FC48AD4F8:unchanged_count=124DB 核验:124 条 / 20 产品 / 2019-2025 / 0 异常 ✅
3. RENBAOSHOU(人保寿险)dividend_year 逻辑优化
修复月度日期按会计年度(7月-次年6月)映射的边界问题,例如 "2026年03月"→"2025"。全量重采集 594 条,12/12 测试通过。
4. 探测与侦察
31019888 | |
5. 工程维护
Excel《国内寿险公司清单》更新:已验证 30 → 32,WAF/CDN 阻断 4 → 5 修复 3 个既有测试失败(PINGANSHOU backoff 公式 + ZHONGHE entry_url)
📊 当前全景
| 总计 | 84 |
📋 下周计划
探测已验证 32 家公司是否有数据更新(年度披露窗口) 跟踪 ERGO CDN 配置变化,确认网络环境后重新评估 启动未评估公司(43 家)的侦察排序 PINGANSHOU 反爬月度复查
二、SOE RPA 项目
本周完成全流程 10 个自动化脚本的落地,覆盖数据导入、Excel 调整、SQL 计算、PPT 更新全链路。
✅ 本周成果
1. 数据准备与文件管理
0_copy_daily_accounting.sh:自动复制 daily_accounting_rpt、202605 报表至 Fin_data 0_clean_old_files.sh:清理含 "202604" / "2604" / "2026年4月" 的旧文件
2. 投资数据整理
1_merge_invest_report.py:提取《月度投资汇报》指定 Sheet 为独立 Excel,断开链接,插入 G 列(传统+万能)及 19-20 行(财务/综合投资收益率),Excel COM 计算
3. 预算利润表调整
4_update_reserve_summary.py:复制 202604→202605,补充 MAPPING,复制 Balance Sheet 并补齐 O:R 公式,修复外部链接
4. SQL 数据库操作
5_import_pfl_to_sql.py:导入 PFL_LOCAL_SETS_202605.xlsx → SSMS DB_Data(10,986 行) 6_calc_ul_init_charge.py:导入 .fac 文件至 DB_VNB,筛选万能产品,计算 INIT_CHARGE
5. Excel 数据更新
7_import_reinstate_rpt.py:读取 .rpt 文件合并复效清单,更新续期保费清单,SQL 取数更新 mapping 8_update_soe_report.py:更新 SOE 43 合并报表,多区域数据粘贴,修复外部链接 9_update_op_dev.py:更新营运偏差分析表 45,处理期末_Report、退保补偿、保险业务明细等多项,修复 Sheet 索引
6. PPT 更新
10_update_ppt.py:全局文本替换(202604→202605),Slide 1 表格+文本框数字,Slide 2 退保/死病偏差表格(按表头识别)
🛠️ 技术沉淀
/xl/externalLinks/ | |
get_table_by_header) | |
method='multi' |
📋 下周计划
月份自动参数化——创建 config.py,所有脚本的月份引用(路径、文件名、Sheet 名、SQL 表名、PPT 替换文本)统一从配置文件读取,次月只需修改 TARGET_MONTH = "202606" 一行。
三、沉淀
📚 知识管理
1. PDF 大文件处理链路
大模型上下文窗口有限,完整投喂 PDF 效果差。前两个月备考时摸索出一套可行路径:
用 PdfGear 按章节拆分 PDF(保持目录结构) 分章节分别投喂 DeepSeek / KIMI 做摘要、提取关键结论 整理后存档至 Obsidian(本地 Markdown,支持双向链接和全文检索)
局限:单章节仍有 token 上限,超大文档建议先人工提炼目录,再按需投喂。
🛠️ Claude Code 使用经验
① 安全策略优化
Claude Code 默认安全策略偏保守,可通过 .claude/settings.local.json 调整权限粒度,减少频繁点「Yes」的干扰。但要注意:放开全部权限有风险,按需精细化配置更稳妥。
本周实践策略如下,感觉丝滑:
{"permissions": {"defaultMode": "auto","allow": ["Read(*)","Write(*)","Edit(*)","Bash(npm *)","Bash(node *)","Bash(npx *)","Bash(python *)","Bash(pip *)","Bash(git *)","Bash(ls *)","Bash(dir *)","Bash(mkdir *)","Bash(copy *)","Bash(mv *)","Bash(cat *)","Bash(echo *)","Bash(*)"],"deny": ["Bash(rm -rf /)","Bash(format *)","Bash(shutdown *)","Bash(reboot *)"]},"autoApprove": {"editFiles": true,"createFiles": true,"runSafeCommands": true}}
② 禁止中文乱码猜测(顶层规则)
⚠️ 重要踩坑:当 Read 工具输出中文乱码时,Claude 会自行猜测内容进行后续操作,猜测结果可能完全错误。
应对方案: 在 Memory 中加入顶层禁止规则——
终端或 Read 输出出现中文乱码时,必须向用户确认原文,禁止自行猜测。
③ Excel 文件结构破坏风险
openpyxl 对以下对象支持不完整,脚本处理后可能丢失:
结论: 有大量外链的 Excel 仍保持人工更新,不要交给脚本处理。
④ PPT 更新指令规范
用脚本更新 PPT 时,指令写法直接影响成功率:
❌ 不要用「左侧」「右侧」等方位词——agent 很难精准定位 ✅ 用「表头包含 xxx 的那个表格」「起始字符是 xxx 的那个文本框」来定位 ❌ 根据表格内容更新文本框时,不要允许模糊匹配 ✅ 约束 agent 进行严格匹配,避免张冠李戴
⑤ CC-Switch 统计 Token 用量
Claude Code 的 token 消耗不直观,CC-Switch 可以方便地实时查看每次对话的 token 用量,帮助控制成本。
*— 记录于 2026.06.18*
夜雨聆风