ARTICLE · 1167310
教你使用python轻松处理百万行的Excel
教你使用python轻松处理百万行的Excel
刚拿到一份 55 MB、一百万行的订单流水,用 Excel 打开先转半天,想按城市分组求和基本别想。
我直接甩给 pandas。读进来只要一秒多,一百万行七列的数据,眨眼就进来了。这东西就是“能用代码操作的 Excel”,比 Excel 能装,比手写循环快得多。
新手最容易栽在括号上。多条件筛选必须各包一层括号,还得用 & 和 |,不能用 and / or。写错了不会提示你条件错,而是报个八竿子打不着的错,纯坑人。
筛出十四万条数据只要 0.08 秒,按八个城市分组求和也才 0.13 秒。拼表直接用 merge,一次对上全表,不用像 VLOOKUP 那样往下拖公式。
最后存结果有个老毛病得躲:存 CSV 一定要加 encoding="utf-8-sig"。不然用 Windows 版 Excel 打开,中文表头直接变乱码。另外,写 Excel 比写 CSV 慢五十倍,数据量大时能用 CSV 就别给自己找麻烦。
原文教你使用python轻松处理百万行的Excel
广东,34分钟前,