使用easyExcel导入大批量数据
·
常用来导入excel的工具有poi,但笔者实测中发现,poi导入的excel数据少于5000条时是没有任何问题的,当导入excel里的数据大于5000条时,内存会被占满,从而导致解析错误、导入失败,这种情况俗称:OOM(Out Of Memory)。
这时候就需要一个可以解决这种情况的工具,阿里的开源项目easyExcel应运而生。easyExcel并不是将整个文件读取到内存中,而是采取流的方式对excel进行分批解析,使用者可以自己定义每一批的行数,然后对解析出来的数据进行数据库存储操作。
下面介绍一下操作步骤,将好工具分享给需要的人。
一、添加依赖
<!--easyexcel,推荐使用2.0 以上版本,功能更加完善-->
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>easyexcel</artifactId>
<version>2.0.5</version>
</dependency>
二、新增一个与实体相对应的映射模型
@ExcelProperty(value ={"产品"})
private String issuer;
@ExcelProperty(value ={"总额"})
private BigDecimal amount;
/*
日期类型转换
*/
@DateTimeFormat("yyyy/MM/dd")
@ExcelProperty(value ={"日期"})
private String day;
三、定义一个解析监听器
import cn.org.nafmii.bean.Basic;
import cn.org.nafmii.service.BasicService;
import com.alibaba.excel.context.AnalysisContext;
import com.alibaba.excel.event.AnalysisEventListener;
import groovy.util.logging.Slf4j;
import java.util.ArrayList;
import java.util.List;
@Slf4j
/*
* 监听器批处理数据
* */
public class BasicExcelListener extends AnalysisEventListener<Basic> {
private BasicService basicService;
public BasicExcelListener(){
}
public BasicExcelListener(BasicService basicService){
this.basicService = basicService;
}
/**
* 批处理阈值2000
*/
private static final int BATCH_COUNT = 2000;
List<Basic> list = new ArrayList<Basic>();
@Override
public void invoke(Basic basic, AnalysisContext analysisContext) {
//获取对应的行数
int num=analysisContext.readRowHolder().getRowIndex();
basic.setRowNum(num+1);
list.add(basic);
if (list.size() >= BATCH_COUNT) {
saveData();
list.clear();
}
}
@Override
public void doAfterAllAnalysed(AnalysisContext analysisContext) {
saveData();
// log.info("所有数据解析完成!");
}
private void saveData(){
//调用saveData()方法
basicService.saveData(list);
}
四、在业务逻辑层添加处理逻辑
public class BasicService {
public Boolean saveData(List<Basic> basics) {
//业务逻辑
//将解析数据存储数据库
return true;
}
}
五、springboot文件上传
@RequestMapping(value = "/importBasic", method = RequestMethod.POST)
public RespBean importBasic(MultipartFile file) throws IOException {
BasicExcelListener basicExcelListener=new BasicExcelListener(basicService);
EasyExcel.read(file.getInputStream(), Basic.class, basicExcelListener).headRowNumber(1).sheet().doRead();
return "导入成功";
}
经过上面五步就可以完成整个easyExcel的使用了,但只是最简单的入门,easyExcel的强大功能需要结合对应的业务来发掘。
思路比埋头苦干更加重要。
更多推荐
已为社区贡献1条内容
所有评论(0)