乐于分享
好东西不私藏

怎么实现百万数据的Excel导入导出?

怎么实现百万数据的Excel导入导出?
这是一个物流公司的面试题,说他们做物流快递项目,虽然项目不大,但是以后可能会有这种业务需求
题目出的很宏大,开又开不起钱,还要大小周
这个题想要答好,需要答到几个点:
1:分片从数据库取数据,limit关键字,你如果说直接从数据库捞100w数据导出,直接聊爆了,回去等通知吧
2:excel的读取工具,原来是阿帕奇官方的poi框架,但是这个框架有性能问题,10w+数据导出就比较吃力,所以大多公司普遍是采用阿里的easyexcel框架,但是easyexcel这个框架阿里目前已经不维护了,原作者开了另外一个框架fastexcel,目前被阿帕奇官方诏安了,所以在导出工具上可以说用poi分片导出、fastexcel全量导出
3:导出过程中,需要回收数据集的引用,否则在内存不大的机器上,容易引起服务器GC