</>

Terminal · Code

1

pip install pandas openpyxl xlsxwriter

</>

Python · Code

1

importpandas aspd

2

3

# 读取时指定字段类型

4

dtypes ={

5

"user_id":"int32",

6

"price":"float32"

7

}

8

9

df =pd.read_csv(

10

"data.csv",

11

dtype=dtypes,

12

parse_dates=["order_time"]

13

)

小提醒

示例中的列名必须真实存在于 CSV 文件中。int32 适用于数值范围足够小且没有缺失值的整数列；如果该列可能有缺失值，可考虑使用 Pandas 的可空类型 Int32。

</>

Python · Code

1

# 按用户编号，将用户信息合并到订单表

2

df_merged =pd.merge(

3

df_orders,

4

df_users,

5

how="left",

6

left_on="user_id",

7

right_on="id"

8

)

小提醒

合并前先检查两张表的匹配字段是否有重复值。右表的匹配键如果存在重复记录，一条订单可能匹配出多行结果，导致合并后的行数增加。

</>

Python · Code

1

df_filtered =df.loc[

2

(df["age"]> 18)

3

& (df["city"].isin(["北京", "上海"]))

4

& (df["phone"].notna())

5

].copy()

小提醒

Pandas 中多个条件组合时要使用 &、|、~，不要直接写 Python 的 and、or、not。

</>

Python · Code

1

# 先按城市和产品汇总销售额

2

city_product =(

3

df.groupby(["city", "product"], as_index=False)["sales"]

4

.sum()

5

)

6

7

# 每个城市按销售额从高到低排序，取前 3 名

8

top3_by_city =(

9

city_product

10

.sort_values(

11

["city", "sales"],

12

ascending=[True, False]

13

)

14

.groupby("city", group_keys=False)

15

.head(3)

16

)

小提醒

这里的 Top 3 是按 sales 销售额排序。如果你想按数量、利润或其他指标排名，只需要替换对应字段。

</>

Python · Code

1

# 将日期列转换为日期类型

2

df["date"]=pd.to_datetime(df["date"], errors="coerce")

3

4

# 提取年份

5

df["year"]=df["date"].dt.year

6

7

# 提取 ISO 周数

8

df["week"]=df["date"].dt.isocalendar().week

9

10

# 判断是否为周末：周一=0，周日=6

11

df["is_weekend"]=df["date"].dt.dayofweek >= 5

小提醒

无法识别的日期会在 errors='coerce' 时变成缺失值 NaT。处理前最好检查原始日期格式是否统一。

</>

Python · Code

1

# 统一转为字符串类型，再提取手机号前三位

2

df["phone"]=df["phone"].astype("string")

3

df["mobile_prefix"]=df["phone"].str[:3]

4

5

# 判断活动名称是否包含指定关键词

6

df["campaign_flag"]=(

7

df["campaign"]

8

.astype("string")

9

.str.contains("优惠", na=False)

10

)

小提醒

如果手机号列被 Excel 读成数字，前导 0 可能已经丢失。涉及手机号、身份证号等编号字段时，建议在读取文件时就按字符串处理。

</>

Python · Code

1

pivot =pd.pivot_table(

2

df,

3

index="city",

4

values="sales",

5

columns="category",

6

aggfunc="mean",

7

margins=True,

8

fill_value=0

9

)

小提醒

如果你需要总销售额，把 aggfunc='mean' 改成 aggfunc='sum'；如果需要计数，可以使用 aggfunc='count'。

</>

Python · Code

1

# 推荐：一次性对整列进行计算

2

df["discount"]=df["price"]* 0.9

3

4

# 也可以按条件计算，例如价格达到 100 元才打九折

5

df["final_price"]=df["price"].where(

6

df["price"]< 100,

7

df["price"]* 0.9

8

)

小提醒

原图将这一项写作“高效循环”，但示例中的逐行循环并不是推荐的高效写法。实际处理时，优先考虑向量化计算；确实需要逐行处理复杂逻辑时，再选择合适的迭代方式。

</>

Python · Code

1

# 需要先安装：pip install xlsxwriter

2

3

withpd.ExcelWriter(

4

"report.xlsx",

5

engine="xlsxwriter"

6

)aswriter:

7

df.to_excel(

8

writer,

9

sheet_name="数据",

10

index=False

11

)

12

13

workbook =writer.book

14

worksheet =writer.sheets["数据"]

15

16

# 为 B 列中大于 1000 的数值设置红色背景

17

ifnotdf.empty:

18

format_red =workbook.add_format({

19

"bg_color":"#FFC7CE"

20

})

21

22

worksheet.conditional_format(

23

f"B2:B{len(df)+ 1}",

24

{

25

"type":"cell",

26

"criteria":">",

27

"value":1000,

28

"format":format_red

29

}

30

)

31

32

# 如果还需要导出 CSV

33

df.to_csv(

34

"report.csv",

35

index=False,

36

encoding="utf-8-sig"

37

)

小提醒

这段条件格式示例默认要标色的是 Excel 的 B 列。请根据实际表格调整列范围和判断阈值。这里明确指定 engine='xlsxwriter'，因为代码使用了 xlsxwriter 的 add_format() 接口。

</>

Python · Code

1

# 将数值列转换为更合适的类型

2

df["user_id"]=pd.to_numeric(

3

df["user_id"],

4

errors="coerce"

5

).astype("Int32")

6

7

# 对重复值较多的文本列，可尝试 category

8

df["description"]=df["description"].astype("category")

9

10

# 分块读取大文件，并逐块写出处理结果

11

first_chunk =True

12

13

forchunk inpd.read_csv(

14

"huge_file.csv",

15

chunksize=100_000

16

):

17

# 在这里对当前数据块进行清洗、筛选或计算

18

chunk.to_csv(

19

"processed_output.csv",

20

mode="w"iffirst_chunk else"a",

21

header=first_chunk,

22

index=False,

23

encoding="utf-8-sig"

24

)

25

first_chunk =False

小提醒

仅仅把所有分块重新 concat 到一起，仍然可能占用大量内存，不能真正发挥分块读取的优势。大文件场景下，更适合逐块完成清洗、统计或写出结果。Int32 是 Pandas 可空整数类型；如果字段没有缺失值且范围合适，也可以考虑 int32。