还在用 POI？试试 EasyExcel，轻松导出 100W 数据

easyexcel

快速、简洁、解决大文件内存溢出的java处理Excel工具

项目地址：https://gitcode.com/gh_mirrors/ea/easyexcel

免费下载资源

F1520080

1092人浏览 · 2024-04-13 16:35:59

F1520080 · 2024-04-13 16:35:59 发布

titles.add(Arrays.asList(“名称”));

titles.add(Arrays.asList(“年龄”));

titles.add(Arrays.asList(“生日”));

table.setHead(titles);

// 模拟分批查询：总记录数250条，每个SHEET存100条，每次查询20条则生成3个SHEET，前俩个SHEET查询次数为5，最后一个SHEET查询次数为3 最后一次写的记录数是10

// 注：该版本为了较少数据判断的复杂度，暂时perSheetRowCount要能够整除pageSize，不去做过多处理合理分配查询数据量大小不会内存溢出即可。

Integer totalRowCount = 250;

Integer perSheetRowCount = 100;

Integer pageSize = 20;

Integer sheetCount = totalRowCount % perSheetRowCount == 0 ? (totalRowCount / perSheetRowCount) : (totalRowCount / perSheetRowCount + 1);

Integer previousSheetWriteCount = perSheetRowCount / pageSize;

Integer lastSheetWriteCount = totalRowCount % perSheetRowCount == 0 ?

previousSheetWriteCount :

(totalRowCount % perSheetRowCount % pageSize == 0 ? totalRowCount % perSheetRowCount / pageSize : (totalRowCount % perSheetRowCount / pageSize + 1));

for (int i = 0; i < sheetCount; i++) {

// 创建SHEET

Sheet sheet = new Sheet(i, 0);

sheet.setSheetName(sheetName + i);

if (i < sheetCount - 1) {

// 前2个SHEET, 每个SHEET查5次每次查20条每个SHEET写满100行 2个SHEET合计200行实用环境：参数：currentPage: j+1 + previousSheetWriteCount*i, pageSize: pageSize

for (int j = 0; j < previousSheetWriteCount; j++) {

List<List> userList = new ArrayList<>();

for (int k = 0; k < 20; k++) {

userList.add(Arrays.asList(“ID_” + Math.random(), “小明”, String.valueOf(Math.random()), new Date().toString()));

}

writer.write0(userList, sheet, table);

}

} else if (i == sheetCount - 1) {

// 最后一个SHEET 实用环境不需要将最后一次分开，合成一个即可，参数为：currentPage = i+1; pageSize = pageSize

for (int j = 0; j < lastSheetWriteCount; j++) {

// 前俩次查询每次查询20条

if (j < lastSheetWriteCount - 1) {

List<List> userList = new ArrayList<>();

for (int k = 0; k < 20; k++) {

userList.add(Arrays.asList(“ID_” + Math.random(), “小明”, String.valueOf(Math.random()), new Date().toString()));

}

writer.write0(userList, sheet, table);

} else if (j == lastSheetWriteCount - 1) {

// 最后一次查询将剩余的10条查询出来

List<List> userList = new ArrayList<>();

Integer lastWriteRowCount = totalRowCount - (sheetCount - 1) * perSheetRowCount - (lastSheetWriteCount - 1) * pageSize;

for (int k = 0; k < lastWriteRowCount; k++) {

userList.add(Arrays.asList(“ID_” + Math.random(), “小明1”, String.valueOf(Math.random()), new Date().toString()));

}

writer.write0(userList, sheet, table);

}

writer.finish();

}

复制代码

2.4 生产环境

2.4.0.Excel常量类

package com.authorization.privilege.constant;

/**

* @author qjwyss

* @description EXCEL常量类

public class ExcelConstant {

/**

* 每个sheet存储的记录数 100W

public static final Integer PER_SHEET_ROW_COUNT = 1000000;

/**

* 每次向EXCEL写入的记录数(查询每页数据大小) 20W

public static final Integer PER_WRITE_ROW_COUNT = 200000;

}

复制代码

注：为了书写方便，此处俩个必须要整除，可以省去很多不必要的判断。另外如果自己测试，可以改为100,20。

2.4.1.数据量少的(20W以内吧)：一个SHEET一次查询导出

@Override

public ResultVO exportSysSystemExcel(SysSystemVO sysSystemVO, HttpServletResponse response) throws Exception {

ServletOutputStream out = null;

try {

out = response.getOutputStream();

ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);

// 设置EXCEL名称

String fileName = new String((“SystemExcel”).getBytes(), “UTF-8”);

// 设置SHEET名称

Sheet sheet = new Sheet(1, 0);

sheet.setSheetName(“系统列表sheet1”);

// 设置标题

Table table = new Table(1);

List<List> titles = new ArrayList<List>();

titles.add(Arrays.asList(“系统名称”));

titles.add(Arrays.asList(“系统标识”));

titles.add(Arrays.asList(“描述”));

titles.add(Arrays.asList(“状态”));

titles.add(Arrays.asList(“创建人”));

titles.add(Arrays.asList(“创建时间”));

table.setHead(titles);

// 查数据写EXCEL

List<List> dataList = new ArrayList<>();

List sysSystemVOList = this.sysSystemReadMapper.selectSysSystemVOList(sysSystemVO);

if (!CollectionUtils.isEmpty(sysSystemVOList)) {

sysSystemVOList.forEach(eachSysSystemVO -> {

dataList.add(Arrays.asList(

eachSysSystemVO.getSystemName(),

eachSysSystemVO.getSystemKey(),

eachSysSystemVO.getDescription(),

eachSysSystemVO.getState().toString(),

eachSysSystemVO.getCreateUid(),

eachSysSystemVO.getCreateTime().toString()

));

});

}

writer.write0(dataList, sheet, table);

// 下载EXCEL

response.setHeader(“Content-Disposition”, “attachment;filename=” + new String((fileName).getBytes(“gb2312”), “ISO-8859-1”) + “.xls”);

response.setContentType(“multipart/form-data”);

response.setCharacterEncoding(“utf-8”);

writer.finish();

out.flush();

} finally {

if (out != null) {

try {

out.close();

} catch (Exception e) {

e.printStackTrace();

}

return ResultVO.getSuccess(“导出系统列表EXCEL成功”);

}

复制代码

2.4.2.数据量适中（100W以内）：一个SHEET分批查询导出

@Override

public ResultVO exportSysSystemExcel(SysSystemVO sysSystemVO, HttpServletResponse response) throws Exception {

ServletOutputStream out = null;

try {

out = response.getOutputStream();

ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);

// 设置EXCEL名称

String fileName = new String((“SystemExcel”).getBytes(), “UTF-8”);

// 设置SHEET名称

Sheet sheet = new Sheet(1, 0);

sheet.setSheetName(“系统列表sheet1”);

// 设置标题

Table table = new Table(1);

List<List> titles = new ArrayList<List>();

titles.add(Arrays.asList(“系统名称”));

titles.add(Arrays.asList(“系统标识”));

titles.add(Arrays.asList(“描述”));

titles.add(Arrays.asList(“状态”));

titles.add(Arrays.asList(“创建人”));

titles.add(Arrays.asList(“创建时间”));

table.setHead(titles);

// 查询总数并【封装相关变量这块直接拷贝就行不要改动】

Integer totalRowCount = this.sysSystemReadMapper.selectCountSysSystemVOList(sysSystemVO);

Integer pageSize = ExcelConstant.PER_WRITE_ROW_COUNT;

Integer writeCount = totalRowCount % pageSize == 0 ? (totalRowCount / pageSize) : (totalRowCount / pageSize + 1);

// 写数据这个i的最大值直接拷贝就行了不要改

for (int i = 0; i < writeCount; i++) {

List<List> dataList = new ArrayList<>();

// 此处查询并封装数据即可 currentPage, pageSize这个变量封装好的不要改动

PageHelper.startPage(i + 1, pageSize);

List sysSystemVOList = this.sysSystemReadMapper.selectSysSystemVOList(sysSystemVO);

if (!CollectionUtils.isEmpty(sysSystemVOList)) {

sysSystemVOList.forEach(eachSysSystemVO -> {

dataList.add(Arrays.asList(

eachSysSystemVO.getSystemName(),

eachSysSystemVO.getSystemKey(),

eachSysSystemVO.getDescription(),

eachSysSystemVO.getState().toString(),

eachSysSystemVO.getCreateUid(),

eachSysSystemVO.getCreateTime().toString()

));

});

}

writer.write0(dataList, sheet, table);

}

// 下载EXCEL

response.setHeader(“Content-Disposition”, “attachment;filename=” + new String((fileName).getBytes(“gb2312”), “ISO-8859-1”) + “.xls”);

response.setContentType(“multipart/form-data”);

response.setCharacterEncoding(“utf-8”);

writer.finish();

out.flush();

} finally {

if (out != null) {

try {

out.close();

} catch (Exception e) {

e.printStackTrace();

}

return ResultVO.getSuccess(“导出系统列表EXCEL成功”);

}

复制代码

2.4.3.数据里很大（几百万都行）：多个SHEET分批查询导出

@Override

public ResultVO exportSysSystemExcel(SysSystemVO sysSystemVO, HttpServletResponse response) throws Exception {

ServletOutputStream out = null;

try {

out = response.getOutputStream();

ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);

// 设置EXCEL名称

String fileName = new String((“SystemExcel”).getBytes(), “UTF-8”);

// 设置SHEET名称

String sheetName = “系统列表sheet”;

// 设置标题

Table table = new Table(1);

List<List> titles = new ArrayList<List>();

titles.add(Arrays.asList(“系统名称”));

titles.add(Arrays.asList(“系统标识”));

titles.add(Arrays.asList(“描述”));

titles.add(Arrays.asList(“状态”));

titles.add(Arrays.asList(“创建人”));

titles.add(Arrays.asList(“创建时间”));

table.setHead(titles);

// 查询总数并封装相关变量(这块直接拷贝就行了不要改)

Integer totalRowCount = this.sysSystemReadMapper.selectCountSysSystemVOList(sysSystemVO);

Integer perSheetRowCount = ExcelConstant.PER_SHEET_ROW_COUNT;

Integer pageSize = ExcelConstant.PER_WRITE_ROW_COUNT;

Integer sheetCount = totalRowCount % perSheetRowCount == 0 ? (totalRowCount / perSheetRowCount) : (totalRowCount / perSheetRowCount + 1);

Integer previousSheetWriteCount = perSheetRowCount / pageSize;

Integer lastSheetWriteCount = totalRowCount % perSheetRowCount == 0 ?

previousSheetWriteCount :

(totalRowCount % perSheetRowCount % pageSize == 0 ? totalRowCount % perSheetRowCount / pageSize : (totalRowCount % perSheetRowCount / pageSize + 1));

for (int i = 0; i < sheetCount; i++) {

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

Docker步步实践

目录文档：

①Docker简介

②基本概念

③安装Docker

④使用镜像：

⑤操作容器：

⑥访问仓库：

⑦数据管理：

⑧使用网络：

⑨高级网络配置：

⑩安全：

⑪底层实现：

⑫其他项目：

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！

④使用镜像：

[外链图片转存中…(img-1sQelUka-1712997346020)]

⑤操作容器：

[外链图片转存中…(img-h6ZNAW5f-1712997346020)]

⑥访问仓库：

[外链图片转存中…(img-luQ2KMBW-1712997346020)]

⑦数据管理：

[外链图片转存中…(img-4u1c555D-1712997346021)]

⑧使用网络：

[外链图片转存中…(img-zqdw81vb-1712997346021)]

⑨高级网络配置：

[外链图片转存中…(img-MdPxFdvP-1712997346021)]

⑩安全：

[外链图片转存中…(img-8MnaSsqi-1712997346021)]

⑪底层实现：

[外链图片转存中…(img-h6rbiGno-1712997346021)]

⑫其他项目：

[外链图片转存中…(img-NqHSLxAW-1712997346022)]

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！

GitHub 加速计划 / ea / easyexcel

31.63 K

7.47 K

下载

快速、简洁、解决大文件内存溢出的java处理Excel工具

最近提交(Master分支：2 个月前 )

c42183df Bugfix 2 个月前

efa7dff6 * 重新加回 `commons-io` 2 个月前

GitCode 开源社区

旨在为数千万中国开发者提供一个无缝且高效的云端环境，以支持学习、使用和贡献开源项目。

更多推荐

[转载]在Windows环境下安装GNU Radio

转自：在Windows环境下安装GNURadio_恐弱智_新浪博客GNU Radio是用Python开发的，大部分开源的工程能够在Linux环境下运行良好，而Windows下却运行的很勉强，而且安装配置都很复杂。GNU Radio算是个例外了，不光提供了Windows的二进制安装，还有比较详细的说明。我是Python小白，所以折腾了好久才弄好，特意记录下来，免得以后再装还折腾。GNU Radio的

GitCode 开源社区

centOS 8 使用dnf安装Docker

DNF是什么？CentOS 8使用YUM软件包管理器版本v4.0.4。现在，该版本使用DNF(已删除YUM)。DNF是软件包管理器。它会在Linux发行版上安装，执行更新并删除软件包。使用DNF安装Docker跳过具有损坏依赖性的程序包一个有效的解决方案是使您的CentOS 8系统使用以下--nobest命令安装最符合条件的版本：sudo dnf install docker...

GitCode 开源社区

定时同步数据库表(mysql+linux+crontab)

sync.sh里面的参数需要改变，ip/username/password/database/tablesync.sh#!/bin/sh# Please change the IP and password of the data source db.# Then change the table name.filename=/home/nington/db/$(date +%Y-%m