夜雨聆风DATA NOTE · 数据分析专题
别再反复导出数据了：Excel 联动SQL
从数据库取数到一键刷新分析全流程
很多人在平时开展数据分析工作的过程当中，往往都经历过这样一种比较常见的情况。
首先需要从数据库里面查询并且导出数据，然后再把这些数据复制到 Excel 文件当中，继续开展整理、计算以及分析工作。等到过了几天之后，业务系统里面的数据发生了更新，就又需要重新编写或者执行查询语句，再次完成导出以及复制粘贴等一系列操作。
随着报表不断进行修改，文件名称也会逐渐从最开始的“销售报表.xlsx”，变成“销售报表最新版”“销售报表最终版”，甚至还会继续出现“销售报表最终确认版”之类的文件。表面上看，只是多保存了几个版本，但是时间一长，就很容易弄不清楚哪一份才是最新结果。
真正让人感到麻烦的，并不仅仅是反复查询、导出以及复制数据产生的重复劳动。
— 问题往往出在口径、版本与更新链路上
01手工导出为什么越来越难维护
MANUAL EXPORT · 版本与口径风险
当查询条件、统计时间范围或者业务口径发生变化的时候，不同版本的报表之间，很容易出现结果无法保持一致的情况。有的人可能使用了最新的日期范围，有的人还在使用之前保存下来的旧数据，还有的人在处理中途调整了筛选条件，却没有同步修改其他报表。
数据一旦发生更新，原来已经制作完成的图表、数据透视表以及相对应的分析结论，也可能很快失去参考价值。虽然报表在表面上已经制作出来了，但是每一次更新都需要重新开展大量操作，很难形成一套能够长期稳定重复使用的分析流程。
本篇分析路线
01 先明确数据库、SQL 与 Excel 的职责
02 再选择取数方式并建立标准链路
03 最后完成刷新、分析与安全交付
02职责分工让两个工具各做擅长的事
ROLE LAYERS · 取数与分析分层
相对更加高效的一种处理方式，是让Excel 和 SQL 分别负责自身更加擅长的相关工作，而不是把所有的数据处理任务都放进同一个工具当中完成。
职责分层
数据库层：保存订单、客户、商品等原始明细数据
SQL 处理层：筛选、关联、去重、汇总并控制口径
Excel 分析层：透视、图表、复盘与结果交付
SQL 主要负责从数据库当中开展数据筛选、表格关联、重复值处理以及汇总计算等工作，并且尽可能保证不同人员使用的是统一的查询条件以及统计口径。对于数据量相对较大、关联关系比较复杂，或者需要进行多步骤清洗的数据任务来说，先在数据库端完成处理，通常能够减少 Excel 本地计算所承担的压力。
Excel 则更加适合开展数据透视分析、趋势变化对比、图表展示以及最终结果交付等相关工作。经过 SQL 处理之后的数据，可以被加载到 Excel 当中，再根据实际需求制作数据透视表、趋势图、指标卡以及经营分析报表。
03建立连接把取数与清洗串起来
CONNECTION · 三种方式与标准流程
通过 Excel 自带的数据库连接功能，或者使用 Power Query，还可以进一步把数据获取、清洗转换、加载以及刷新等步骤连接成一条可以反复执行的数据链路。
三种取数方式怎么选
客户端导出：适合临时、一次性分析
Excel 直接连接：适合固定周期报表
Power Query：适合重复分析与数据清洗
数据库到 Excel 的标准流程
1 定义 先明确指标与汇总粒度
2 取数 编写 SQL 并统一查询口径
3 清洗 通过 Power Query 完成转换
4 输出 加载到 Excel 并刷新分析
04案例实战月度销售分析怎么跑通
CASE STUDY · 从订单明细到分析呈现
订单明细保存在数据库
↓
SQL 按月、按区域汇总结果集
↓
Excel 透视、画图并交付
05一键刷新让整条分析链重新运行
REFRESH · 参数、查询与报表联动
以后当数据库里面的业务数据发生变化时，就不需要再一次次手动复制以及粘贴。只需要根据实际需求调整相对应的查询参数，再执行刷新操作，已经设置好的 SQL 查询、清洗步骤、数据透视表以及图表，就能够按照最新的数据条件重新运行并且更新结果。
✓ 刷新的是整条分析链
参数修改、SQL 查询、Power Query 清洗、数据透视表与图表会按照最新条件依次更新。
这样的一种方式，不仅能够减少大量重复操作，也可以在一定程度上避免因为手工复制数据、遗漏记录或者使用错误文件版本而产生的统计问题。对于日报、周报、月报以及需要定期更新的经营分析报表来说，这种工作流程会显得更加稳定。
06权限边界自动刷新不等于自动回写
SECURITY · 读取与写入是两种操作
不过，在使用 Excel 连接数据库的时候，还有一个非常容易被误解的问题需要提前说明。
☼ 先划清边界
能够自动读取并刷新最新结果，不代表 Excel 中的修改会自动、安全地写回数据库。
能够自动读取数据库里面的数据，并且通过刷新获取最新结果，并不代表在 Excel 当中修改了某些内容之后，这些修改就会自动并且安全地写回数据库里面。
读取数据和写入数据，本身属于两种不同的操作。读取通常只需要相对应的查询权限，而数据回写则有可能直接改变数据库中的业务记录，因此在安全性、准确性以及权限管理方面，需要开展更加严格的控制。
如果实际业务当中确实存在数据回写的需求，就需要提前校验字段类型是否匹配、主键是否唯一、是否存在重复数据，以及当前账号有没有相对应的写入权限。同时，还要考虑写入失败、部分数据更新成功以及错误数据覆盖原记录等相关情况。
这一类操作通常需要通过 Python、VBA、API 或者专门的数据导入工具，在设置好校验规则、操作日志以及权限限制之后受控完成，而不是直接把 Excel 表格当作数据库进行随意修改。
回写操作 SOP
✓ 确认写入账号与权限范围
✓ 校验主键、字段类型与重复值
✓ 生产库操作前备份数据
✓ 完整记录时间、范围与执行结果
07完整流程从取数到持续交付
DELIVERY · 查询、刷新与结果交付
下面这组内容会从Excel 与 SQL 之间的职责分工开始，逐步介绍三种比较常见的数据获取方式、标准的数据库连接流程，以及月度销售分析的实际案例。
同时还会进一步讲清楚参数调整、自动刷新、透视表联动以及图表更新等相关操作，并且说明自动取数和安全回写之间存在的边界，帮助你建立起一套从数据库查询数据、完成分析处理，再到持续刷新以及结果交付的完整工作流程。
SUMMARY
先用SQL把口径取准，再用Excel把分析做活
当取数、清洗、分析和刷新形成固定链路，报表才真正具备持续复用的价值。