夜雨聆风
内容为原创，由AI排版整理
上一篇我们讲完了"一个 Excel 多 Sheet → 多 Excel + ZIP"的演进路径，但所有方案都建立在"单线程写 Excel"的基础上。当数据量真正大起来——几十万条、上百个批次——单线程串行生成 Excel 会成为整个导出链路的性能瓶颈。
这篇就接着往下讲三个进阶话题：
1. 线程池并行生成 Excel：查询和 Excel 序列化同时并行化2. 流式写盘优化：用磁盘 I/O 换 JVM 内存，彻底解决 OOM3. 复杂表头模板：带"温馨提示"合并单元格的模板文件生成
一、为什么需要并行生成 Excel
先看上一个方案的瓶颈在哪。
上一版"多 Excel 单 Sheet + ZIP"的流程是：
1. 多线程并发查询数据（快）2. 单线程串行生成每个批次的 Excel（慢）3. 单线程串行写入 ZIP
第 2 步是瓶颈。生成一个 Excel 涉及 POI 的对象创建、样式计算、XML 序列化，CPU 密集型。如果有 100 个批次，单线程逐个生成，耗时是线性的。
而查询阶段我们已经在用线程池了，没有理由 Excel 生成不也用线程池。让多个线程同时生成各自的 Excel，最后由主线程统一写入 ZIP，这才是大数据量导出的正确姿势。
二、并行生成 Excel：内存方案
第一版并行方案用 ByteArrayOutputStream 在内存中构建 Excel，核心思路是"并发生产、单线程组装"：
private void processDataToZip(AssetIssueQueryIn vo, int totalCount, File zipFile, String companyName) { int pageSize = 5000; int totalPages = (totalCount + pageSize - 1) / pageSize; Map<Integer, List<AssetIssueDetailExVo>> dataMap = new ConcurrentHashMap<>(); CountDownLatch queryLatch = new CountDownLatch(totalPages); // 1. 多线程并行查询数据 for (int i = 1; i <= totalPages; i++) { int finalPageNum = i; asyncTaskExecutePool.getAsyncExecutor().execute(() -> { try { PageHelper.startPage(finalPageNum, pageSize); List<AssetIssueInfoDetail> details = assetDetailMapper.selectInfoPage(vo); if (!CollectionUtils.isEmpty(details)) { List<AssetIssueDetailExVo> infoList = ModelMapperUtils.convertList(details, AssetIssueDetailExVo.class); infoList.forEach(d -> { d.setIssuedStateText(d.getIssuedState() ? IssueStateEnum.two.getName() : IssueStateEnum.one.getName()); d.setInitialPoint(d.getInitialPoint().divide(new BigDecimal(100))); d.setCompanyName(companyName); }); dataMap.put(finalPageNum, infoList); } } finally { queryLatch.countDown(); } }); } try { queryLatch.await(); // 2. 按 batchNo 分组 Map<String, List<AssetIssueDetailExVo>> batchGroup = dataMap.values().stream() .flatMap(List::stream) .collect(Collectors.groupingBy(AssetIssueDetailExVo::getBatchNo)); if (CollectionUtils.isEmpty(batchGroup)) { return; } // 3. 多线程并发生成各自的 Excel 字节数组 int batchCount = batchGroup.size(); CountDownLatch excelLatch = new CountDownLatch(batchCount); // 承接各线程生成的 Excel 字节流 Map<String, byte[]> excelResultMap = new ConcurrentHashMap<>(); for (Map.Entry<String, List<AssetIssueDetailExVo>> entry : batchGroup.entrySet()) { String batchNo = entry.getKey(); List<AssetIssueDetailExVo> batchData = entry.getValue(); asyncTaskExecutePool.getAsyncExecutor().execute(() -> { try (ByteArrayOutputStream baos = new ByteArrayOutputStream()) { // 每个线程独立的 ExcelWriter，内部单线程顺序写入 ExcelWriter excelWriter = EasyExcel.write(baos, AssetIssueDetailExVo.class) .build(); WriteSheet sheet = EasyExcel.writerSheet(0, "发放明细").build(); excelWriter.write(batchData, sheet); excelWriter.finish(); excelResultMap.put(batchNo, baos.toByteArray()); } catch (Exception e) { logger.error("异步生成批次[{}]的Excel失败", batchNo, e); } finally { excelLatch.countDown(); } }); } excelLatch.await(); // 4. 主线程串行写入 ZIP try (ZipOutputStream zos = new ZipOutputStream(new FileOutputStream(zipFile))) { for (Map.Entry<String, byte[]> entry : excelResultMap.entrySet()) { String batchNo = entry.getKey(); byte[] excelBytes = entry.getValue(); if (excelBytes != null && excelBytes.length > 0) { ZipEntry zipEntry = new ZipEntry("批次_" + batchNo + ".xlsx"); zos.putNextEntry(zipEntry); zos.write(excelBytes); zos.closeEntry(); } } } } catch (Exception e) { throw new RuntimeException("并行生成 ZIP 失败", e); }}
这里有两个关键设计：
1. 为什么 ZIP 写入必须串行？
ZipOutputStream不是线程安全的。多个线程同时调 zos.write() 会导致压缩包损坏。所以采用"并发生产（写内存 baos）、单线程组装（主线程写 zos）"的生产消费者模式。
2. excelResultMap 的作用
作为一个 ConcurrentHashMap 中转站，承接各线程丢过来的 Excel 完整字节块。等 excelLatch.await() 等到所有线程报到，主线程一口气打包，最大化减少 IO 等待。
但这个方案有个致命问题：ByteArrayOutputStream 会把整个 Excel 装进内存。如果 100 个批次每个 5 万条，内存里要同时存 100 个完整 Excel 的字节数组，OOM 只是时间问题。
三、流式写盘优化：空间换时间
要彻底解决 OOM，思路是用磁盘 I/O 换 JVM 内存：
1. 创建临时目录，让多线程把 Excel 直接生成到硬盘2. 主线程等全部完成后，流式读取本地文件压缩成 ZIP3. 上传完后统一物理删除临时文件
EasyExcel 写文件时会用 POI 的 SXSSF 模式（流式写入），数据会分批刷入磁盘，JVM 内存开销极低且稳定。
private void processDataToZip(AssetIssueQueryIn vo, int totalCount, File zipFile, String companyName) { int pageSize = 5000; int totalPages = (totalCount + pageSize - 1) / pageSize; Map<Integer, List<AssetIssueDetailExVo>> dataMap = new ConcurrentHashMap<>(); CountDownLatch queryLatch = new CountDownLatch(totalPages); // 1. 多线程并行查询数据（逻辑同上，省略） // ... File tempDir = null; try { queryLatch.await(); Map<String, List<AssetIssueDetailExVo>> batchGroup = dataMap.values().stream() .flatMap(List::stream) .collect(Collectors.groupingBy(AssetIssueDetailExVo::getBatchNo)); if (CollectionUtils.isEmpty(batchGroup)) { return; } // 2. 创建本次导出的专用临时目录（防止并发冲突） String systemTmpDir = System.getProperty("java.io.tmpdir"); tempDir = new File(systemTmpDir + File.separator + "excel_export_" + UUID.randomUUID().toString()); if (!tempDir.exists()) { tempDir.mkdirs(); } // 3. 多线程并行将各批次 Excel 直接写入硬盘 int batchCount = batchGroup.size(); CountDownLatch excelLatch = new CountDownLatch(batchCount); for (Map.Entry<String, List<AssetIssueDetailExVo>> entry : batchGroup.entrySet()) { String batchNo = entry.getKey(); List<AssetIssueDetailExVo> batchData = entry.getValue(); File excelFile = new File(tempDir, "批次_" + batchNo + ".xlsx"); asyncTaskExecutePool.getAsyncExecutor().execute(() -> { try { // 关键：EasyExcel 直接绑定 File，落盘不吃 JVM 内存 ExcelWriter excelWriter = EasyExcel.write(excelFile, AssetIssueDetailExVo.class) .build(); WriteSheet sheet = EasyExcel.writerSheet(0, "发放明细").build(); excelWriter.write(batchData, sheet); excelWriter.finish(); } catch (Exception e) { logger.error("异步生成批次[{}]的本地Excel失败", batchNo, e); } finally { excelLatch.countDown(); } }); } excelLatch.await(); // 4. 主线程流式读取本地文件，压缩成 ZIP File[] files = tempDir.listFiles(); if (files != null && files.length > 0) { try (ZipOutputStream zos = new ZipOutputStream(new FileOutputStream(zipFile))) { byte[] buffer = new byte[4096]; // 4K 读写缓冲区 for (File file : files) { if (file.isFile() && file.getName().endsWith(".xlsx")) { ZipEntry zipEntry = new ZipEntry(file.getName()); zos.putNextEntry(zipEntry); try (FileInputStream fis = new FileInputStream(file)) { int length; while ((length = fis.read(buffer)) >= 0) { zos.write(buffer, 0, length); } } zos.closeEntry(); } } } } } catch (Exception e) { throw new RuntimeException("生成 ZIP 失败", e); } finally { // 5. 无论成功失败，统一物理清理临时目录 if (tempDir != null && tempDir.exists()) { try { File[] remainingFiles = tempDir.listFiles(); if (remainingFiles != null) { for (File f : remainingFiles) { f.delete(); } } tempDir.delete(); } catch (Exception e) { logger.error("清理临时目录失败", e); } } }}
这版方案的核心优势：
1. GC 友好：摒弃 ByteArrayOutputStream，JVM 内存波形从"过山车"变成"平稳直线"2. UUID 目录隔离：多用户同时导出时，各线程在不同物理目录写文件，互不干扰3. finally 兜底清理：先删文件再删文件夹，即便中途报错也不留垃圾
四、踩坑：系统找不到路径
流式写盘方案上线后，很可能撞上这个报错：
com.alibaba.excel.exception.ExcelGenerateException: Can not found file.Caused by: java.io.FileNotFoundException:E:\haha\www\cards\scan\tmp\excel_export_d67fbc5b-...\批次_JF1464247370987741184.xlsx(系统找不到指定的路径。)
排查后发现是个多线程时序问题。
根因：主线程提前删了目录
问题出在主线程和子线程的执行顺序上。主线程创建了 tempDir，但如果 batchGroup 为空或者异常，主线程会瞬间走到 finally 块把目录删掉。而此时子线程池（Migrate-3、Migrate-4）才刚启动，正准备往这个路径写 Excel，结果发现文件夹没了。
解决：子线程内部自己确保目录存在
修复方法很直接——不依赖主线程创建目录，每个子线程写文件前自己 mkdirs()：
asyncTaskExecutePool.getAsyncExecutor().execute(() -> { try { // 关键修复：确保父级目录物理存在 File parentDir = excelFile.getParentFile(); if (parentDir != null && !parentDir.exists()) { parentDir.mkdirs(); } // 空数据跳过 if (CollectionUtils.isEmpty(batchData)) { return; } ExcelWriter excelWriter = EasyExcel.write(excelFile, AssetIssueDetailExVo.class) .build(); WriteSheet sheet = EasyExcel.writerSheet(0, "发放明细").build(); excelWriter.write(batchData, sheet); excelWriter.finish(); } catch (Exception e) { logger.error("异步生成批次[{}]的本地Excel失败", batchNo, e); } finally { excelLatch.countDown(); // 无论成功失败必须递减，防止主线程死等 }});
同时要检查一个隐患：queryLatch.countDown() 必须放在子线程的 finally 块里。如果放在 try 里，数据库异常时就不会递减，导致 queryLatch.await() 死锁，主线程直接滑到 finally 提前删目录。
五、复杂表头模板：带温馨提示的合并单元格
讲完性能优化，来看一个产品需求：导出的 Excel 表头上面要加一行"温馨提示"，合并所有列，红色字体。
这种"提示行 + 表头行"的复合结构，EasyExcel 有两种实现方式：注解多行表头、自定义拦截器。提示语太长且需要合并单元格，拦截器是最优雅的方式。
1. 定义提示信息常量
public static final String EXCEL_TIPS = "温馨提示：\n" + "1.上传导入文件必须是 .xls或 .xlsx格式；\n" + "2.请严格按照积分撤回文档模板格式输入数据，确保上传的文档中无空格等特殊字符；\n" + "3.标红字段为必填项，每次导入撤回积分员工数量不可大于3000人；\n" + "4.是否寄出字段请根据对应的积分退售订单是否寄出字段值填写即可，包含已寄出和未寄出；\n" + "5.每次导入撤回积分对应模板发放最大积分数，不允许操作部分撤回；";
2. 自定义表头拦截器
import com.alibaba.excel.write.handler.SheetWriteHandler;import com.alibaba.excel.write.metadata.holder.WriteSheetHolder;import com.alibaba.excel.write.metadata.holder.WriteWorkbookHolder;import org.apache.poi.ss.usermodel.*;import org.apache.poi.ss.util.CellRangeAddress;public class CustomHeaderHandler implements SheetWriteHandler { private String tips; public CustomHeaderHandler(String tips) { this.tips = tips; } @Override public void beforeSheetCreate(WriteWorkbookHolder writeWorkbookHolder, WriteSheetHolder writeSheetHolder) {} @Override public void afterSheetCreate(WriteWorkbookHolder writeWorkbookHolder, WriteSheetHolder writeSheetHolder) { Sheet sheet = writeSheetHolder.getSheet(); Workbook workbook = writeWorkbookHolder.getWorkbook(); // 1. 创建第一行（索引 0） Row row = sheet.createRow(0); row.setHeightInPoints(100); // 根据提示文字多少设置高度 // 2. 创建样式 CellStyle cellStyle = workbook.createCellStyle(); cellStyle.setVerticalAlignment(VerticalAlignment.CENTER); cellStyle.setAlignment(HorizontalAlignment.LEFT); cellStyle.setWrapText(true); // 自动换行 Font font = workbook.createFont(); font.setColor(IndexedColors.RED.getIndex()); // 提示文字红色 cellStyle.setFont(font); // 3. 创建单元格并填入内容 Cell cell = row.createCell(0); cell.setCellValue(tips); cell.setCellStyle(cellStyle); // 4. 合并单元格（起始行, 结束行, 起始列, 结束列） // 结束列取决于 VO 中 @ExcelProperty 的数量，这里共 8 列（0-7） sheet.addMergedRegion(new CellRangeAddress(0, 0, 0, 7)); }}
3. 注册拦截器并处理表头偏移
ExcelWriter excelWriter = EasyExcel.write(excelFile, AssetIssueDetailExVo.class) .registerWriteHandler(new CustomHeaderHandler(EXCEL_TIPS)) .build();// 关键：告诉 EasyExcel 表头相对于第一行偏移 1 行WriteSheet sheet = EasyExcel.writerSheet(0, "发放明细") .relativeHeadRowIndex(1) .build();excelWriter.write(batchData, sheet);
这里有两个关键点：
1. registerWriteHandler(new CustomHeaderHandler(...))：注册拦截器，在 afterSheetCreate 时插入提示行2. relativeHeadRowIndex(1)：告诉 EasyExcel 表头从第二行（Row 1）开始画，否则会把提示行覆盖掉
六、标题行红字与常用格式设置
提示行变红了，标题行（Header）也要变红。EasyExcel 提供 HorizontalCellStyleStrategy 专门控制表头和内容样式：
// 1. 定义表头样式WriteCellStyle headWriteCellStyle = new WriteCellStyle();headWriteCellStyle.setFillForegroundColor(IndexedColors.WHITE.getIndex()); // 白色背景WriteFont headWriteFont = new WriteFont();headWriteFont.setFontHeightInPoints((short) 12);headWriteFont.setColor(IndexedColors.RED.getIndex()); // 表头字体变红headWriteCellStyle.setWriteFont(headWriteFont);// 2. 定义内容样式WriteCellStyle contentWriteCellStyle = new WriteCellStyle();contentWriteCellStyle.setHorizontalAlignment(HorizontalAlignment.CENTER); // 内容居中// 3. 创建样式策略HorizontalCellStyleStrategy styleStrategy = new HorizontalCellStyleStrategy(headWriteCellStyle, contentWriteCellStyle);// 4. 注册到 ExcelWriterExcelWriter excelWriter = EasyExcel.write(excelFile, AssetIssueDetailExVo.class) .registerWriteHandler(new CustomHeaderHandler(EXCEL_TIPS)) .registerWriteHandler(styleStrategy) .build();
常用格式速查表
EasyExcel 的格式控制主要通过注解和拦截器两种手段：
| 需求 | 实现方式 | 示例 ||------|---------|------|| 列宽 | 注解 | @ColumnWidth(20) || 行高 | 注解 | @HeadRowHeight(30)、@ContentRowHeight(20) || 日期格式 | 注解 | @DateTimeFormat("yyyy-MM-dd HH:mm:ss") || 数字格式 | 注解 | @NumberFormat("#.##%") || 忽略字段 | 注解 | @ExcelIgnore || 合并单元格 | 注解 | @ContentLoopMerge(eachRow = 2) || 全局表头样式 | 拦截器 | HorizontalCellStyleStrategy || 动态合并/特定单元格变色 | 拦截器 | CellWriteHandler || 大数字防科学计数法 | 拦截器 | style.setDataFormat(dataFormat.getFormat("@")) |
选型原则：
• 简单样式（宽、高、忽略）→ 用注解• 全局样式（所有表头红色、居中）→ 用 HorizontalCellStyleStrategy• 复杂逻辑（动态合并、特定单元格变色）→ 用 CellWriteHandler 拦截器
一个拦截器管"温馨提示"，一个策略管"红字表头"，数据逻辑保持简洁——这就是清晰的代码结构。
七、进阶路径总结
把这两篇的完整演进路径梳理一下，从最朴素到最生产级：
| 阶段 | 并行度 | 存储策略 | 内存特征 | 适用规模 ||------|--------|---------|---------|---------|| 单线程串行写 | 查询并行、写串行 | 内存 | 中 | 几万条 || 并行生成 Excel | 查询并行、写并行 | 内存（baos） | 高（易 OOM） | 中等规模、批次少 || 流式写盘 | 查询并行、写并行 | 磁盘临时文件 | 极低且稳定 | 几十万条、大批次 || + 复杂表头 | 同上 | 同上 | 同上 | 需要模板提示 |
几个必须记住的工程要点：
1. ZipOutputStream 不是线程安全的：ZIP 写入必须串行，Excel 生成可以并行2. CountDownLatch 的 countDown 必须放 finally：否则异常时主线程死等3. 子线程写文件前自己 mkdirs()：别依赖主线程创建目录，避免时序竞争4. 临时文件必须 finally 清理：先删文件再删目录，防止磁盘被撑爆5. relativeHeadRowIndex(1)：插入自定义行后，EasyExcel 表头要偏移6. HorizontalCellStyleStrategy 提取到循环外：避免重复创建样式对象
回到开头那个问题：大数据量导出的核心矛盾是"性能 vs 内存"。并行生成解决性能问题，流式写盘解决内存问题，两者结合才是生产级方案。而复杂表头模板则是锦上添花——让导出的 Excel 既快又好看。
EasyExcel 的进阶用法，本质上是"并发编程 + IO 优化 + POI 样式"三件事的组合。理清了每一层的职责，再大的导出需求也能稳稳接住。
