• 前言
• 业务关系定义
• 具体代码实现
• 总结

前言

业务诉求：考虑到数据库数据日渐增多，导出会有全量数据的导出，多人同时导出可以会对服务性能造成影响，导出涉及到mysql查询的io操作，还涉及文件输入、输出流的io操作，所以对服务器的性能会影响的比较大；结合以上原因，对导出操作进行排队；

刚开始拿到这个需求，第一时间想到就是需要维护一个FIFO先进先出的队列，给定队列一个固定size，在队列里面的人进行排队进行数据导出，导出完成后立马出队列，下一个排队的人进行操作；还考虑到异步，可能还需要建个文件导出表，主要记录文件的导出情况，文件的存放地址，用户根据文件列表情况下载导出文件。

业务关系定义

分别是用户、导出队列、导出执行方法

• ExportQueue： 维护一条定长队列，可以获取队列里前后排队的用户，提供查询，队列如果已经满了，其余的人需要进行等待
• User信息： 排队执行导出方法对应用户；
• Export类： 定义导出方法，异步执行，用户可以通过导出页面查看、下载，导出的文件；

具体代码实现

ExportQueue队列

package com.example.system.config;import com.example.system.api.domain.ExportUser;import lombok.extern.slf4j.Slf4j;import org.springframework.stereotype.Component;import java.util.LinkedList;@Slf4j@ComponentpublicclassExportQueue{privatefinalint MAX_CAPACITY = 10; // 队列最大容量private LinkedList<ExportUser> queue; // 用户队列publicExportQueue(LinkedList<ExportUser> queue){this.queue = new LinkedList<>();    }/**     * 排队队列添加     * @param sysUser     */publicsynchronized LinkedList<ExportUser> add(ExportUser sysUser){while (queue.size() >= MAX_CAPACITY) {try {                log.info("当前排队人已满，请等待");                wait();            } catch (InterruptedException e) {                e.getMessage();            }        }        queue.add(sysUser);        log.info("目前导出队列排队人数：" + queue.size());        notifyAll();return queue;    }/**     * 获取排队队列下一个人     * @return     */publicsynchronized ExportUser getNextSysUser(){while (queue.isEmpty()) {try {                wait();            } catch (InterruptedException e) {                e.printStackTrace();            }        }        ExportUser sysUser = queue.remove();        notifyAll(); //唤醒return sysUser;    }}

AbstractExport导出类

引入EasyExcel百万级别的导出功能

package com.example.system.config;import cn.hutool.core.bean.BeanUtil;import cn.hutool.core.util.PageUtil;import com.alibaba.excel.EasyExcel;import com.alibaba.excel.ExcelWriter;import com.alibaba.excel.write.metadata.WriteSheet;import com.example.system.api.domain.ExportUser;import lombok.extern.slf4j.Slf4j;import javax.servlet.http.HttpServletResponse;import java.io.IOException;import java.net.URLEncoder;import java.util.List;@Slf4jpublicabstractclassAbstractExport<T, K> {publicabstractvoidexport(ExportUser sysUser)throws InterruptedException;/**     * 导出     *     * @param response 输出流     * @param pageSize 每页大小     * @param t        导出条件     * @param k        Excel内容实体类     * @param fileName 文件名称     */publicvoidexport(HttpServletResponse response, int pageSize, T t, Class<K> k, String fileName)throws Exception {        ExcelWriter writer = null;try {            writer = getExcelWriter(response, fileName);//查询导出总条数int total = this.countExport(t);//页数int loopCount = PageUtil.totalPage(total, pageSize);            BeanUtil.setProperty(t, "pageSize", pageSize);for (int i = 0; i < loopCount; i++) {//开始页                BeanUtil.setProperty(t, "pageNum", PageUtil.getStart(i + 1, pageSize));//获取Excel导出信息                List<K> kList = this.getExportDetail(t);                WriteSheet writeSheet = EasyExcel.writerSheet(fileName).head(k).build();                writer.write(kList, writeSheet);            }        } catch (Exception e) {            String msg = "导出" + fileName + "异常";            log.error(msg, e);thrownew Exception(msg + e);        } finally {if (writer != null) {                writer.finish();            }        }    }public com.alibaba.excel.ExcelWriter getExcelWriter(HttpServletResponse response, String fileName)throws IOException {        response.setContentType("application/vnd.ms-excel");        response.setCharacterEncoding("utf-8");// 这里URLEncoder.encode可以防止中文乱码 当然和easyexcel没有关系        String fileNameUtf = URLEncoder.encode(fileName, "UTF-8").replaceAll("\\+", "%20");        response.setHeader("Content-disposition", "attachment;filename*=utf-8''" + fileNameUtf + ".xlsx");return EasyExcel.write(response.getOutputStream()).build();    }/**     * （模版导出）     *     * @param t     * @param fileName     * @param response     */publicabstractvoidcomplexFillWithTable(T t, String fileName, HttpServletResponse response);/**     * 查询导出总条数     *     * @param t     * @return     */publicabstractintcountExport(T t);/**     * 查询导出数据     *     * @param t     * @return     */publicabstract List<K> getExportDetail(T t);}

ExportImpl导出实现方法

package com.example.system.service.impl;import com.alibaba.excel.ExcelWriter;import com.example.system.api.domain.ExportUser;import com.example.system.config.AbstractExport;import com.example.system.config.ExportQueue;import lombok.extern.slf4j.Slf4j;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.stereotype.Service;import javax.servlet.http.HttpServletResponse;import java.io.IOException;import java.util.LinkedList;import java.util.List;@Service@Slf4jpublicclassExportImplextendsAbstractExport{@Autowiredprivate ExportQueue exportQueue;@Overridepublicvoidexport(ExportUser sysUser)throws InterruptedException {//导出        log.info("导出文件方法执行～～～～～～～～～");//        export(response,pageSize,t,k,fileName);        LinkedList<ExportUser> queue = exportQueue.add(sysUser);        log.info("导出队列：" + queue);//休眠时间稍微设置大点，模拟导出处理时间        Thread.sleep(20000);//导出成功后移除当前导出用户        ExportUser nextSysUser = exportQueue.getNextSysUser();        log.info("移除后获取下一个排队的用户: " + nextSysUser.getUserName());    }@Overridepublicvoidexport(HttpServletResponse response, int pageSize, Object o, Class k, String fileName)throws Exception {super.export(response, pageSize, o, k, fileName);    }@Overridepublic ExcelWriter getExcelWriter(HttpServletResponse response, String fileName)throws IOException {returnsuper.getExcelWriter(response, fileName);    }@OverridepublicvoidcomplexFillWithTable(Object o, String fileName, HttpServletResponse response){    }@OverridepublicintcountExport(Object o){return0;    }@Overridepublic List getExportDetail(Object o){returnnull;    }}

测试controller

package com.example.system.controller;import com.example.system.api.domain.ExportUser;import com.example.system.api.domain.SysUser;import com.example.system.service.impl.ExportImpl;import lombok.SneakyThrows;import lombok.extern.slf4j.Slf4j;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.web.bind.annotation.PostMapping;import org.springframework.web.bind.annotation.RequestBody;import org.springframework.web.bind.annotation.RequestMapping;import org.springframework.web.bind.annotation.RestController;@RestController@RequestMapping("/export")@Slf4jpublicclassExportController{@Autowiredprivate ExportImpl export;@PostMapping("/exportFile")publicvoidexportFile(){new Thread(new Runnable() {@SneakyThrows@Overridepublicvoidrun(){                    Thread thread1 = Thread.currentThread();                    ExportUser sysUser =new ExportUser();                    sysUser.setUserName(thread1.getName());                    export.export(sysUser);                }            }).start();        }}

测试结果

通过请求测试方法，限制了我们导出队列最大限制10次，队列场长度超过10次则无法进行继续提交；

第一次请求和第二次请求，间隔10秒，第一个用户导出完成后出列，下一个排队用户在队列首位，在进行导出请求排在上一个用户后面；

总结

⚠️其余的还未实现，导出文件的表的设计、oss文件上传、用户导出文件下载，还有高并发的场景下会不会出现什么问题，这些都还没有太考虑进去；实现的方式应该挺多的，Redis的队列应该也是可以的，这里仅仅提供一个实现思路。

原文：https://juejin.cn/post/7259249904777838629