在日常開發中,Excel 文件的導入導出是非常常見的需求。無論是數據批量導入、報表生成還是數據備份,我們都離不開對 Excel 的操作。但傳統的 POI 框架在處理大數據量 Excel 時,常常會遇到內存溢出的問題,讓開發者頭疼不已。
今天給大家介紹一款阿里開源的 Excel 處理工具 ——EasyExcel,它以低內存占用為核心優勢,完美解決了大數據量 Excel 處理的痛點。
什么是 EasyExcel?
EasyExcel 是阿里巴巴開源的一個基于 Java 的 Excel 處理工具,它重寫了 POI 對 Excel 的解析方式,通過事件驅動模式和增量解析的方式,在讀取 Excel 時不會將整個文件加載到內存中,而是逐行解析,大大降低了內存占用。
項目地址:https://github.com/alibaba/easyexcel
EasyExcel 的核心優勢
-
內存占用極低
- 傳統 POI 解析 Excel 時,會將整個文檔加載到內存,對于百萬級數據的 Excel,很容易導致 OOM
- EasyExcel 采用逐行解析模式,內存占用可以控制在 KB 級別
-
API 簡潔易用
- 封裝了復雜的 Excel 解析邏輯,提供簡單直觀的 API
- 注解驅動,通過注解即可完成 Excel 與實體類的映射
-
功能完善
- 支持 Excel 的讀寫操作
- 支持 xls、xlsx 等多種格式
- 支持復雜表頭、合并單元格等復雜場景
- 支持大數據量的導入導出
-
擴展性強
- 提供豐富的監聽器接口,可以自定義處理邏輯
- 支持自定義轉換器,處理特殊格式數據
快速入門:EasyExcel 基本使用
1. 引入依賴
首先在項目中引入 EasyExcel 的 Maven 依賴
<dependency><groupId>com.alibaba</groupId><artifactId>easyexcel</artifactId><version>3.3.0</version>
</dependency>
2. 定義實體類
通過注解定義 Excel 與實體類的映射關系
@Data
public class UserData {// index表示列的索引,value表示列名@ExcelProperty(index = 0, value = "姓名")private String name;@ExcelProperty(index = 1, value = "年齡")private Integer age;@ExcelProperty(index = 2, value = "郵箱")private String email;// 日期格式化@ExcelProperty(index = 3, value = "注冊時間")@DateTimeFormat("yyyy-MM-dd HH:mm:ss")private Date registerTime;
}
3. 寫入 Excel 文件
public class ExcelWriteDemo {public static void main(String[] args) {// 準備數據List<UserData> dataList = new ArrayList<>();for (int i = 0; i < 10; i++) {UserData data = new UserData();data.setName("用戶" + i);data.setAge(20 + i);data.setEmail("user" + i + "@example.com");data.setRegisterTime(new Date());dataList.add(data);}// 寫入文件String fileName = "D:/user_data.xlsx";EasyExcel.write(fileName, UserData.class).sheet("用戶列表") // 指定工作表名稱.doWrite(dataList); // 寫入數據}
}
4. 讀取 Excel 文件
讀取 Excel 需要定義一個監聽器:
// 自定義監聽器
public class UserDataListener extends AnalysisEventListener<UserData> {// 每解析一行數據就會調用一次@Overridepublic void invoke(UserData data, AnalysisContext context) {System.out.println("解析到數據:" + data);// 可以在這里處理數據,如存入數據庫}// 所有數據解析完成后調用@Overridepublic void doAfterAllAnalysed(AnalysisContext context) {System.out.println("所有數據解析完成");}
}// 讀取Excel
public class ExcelReadDemo {public static void main(String[] args) {String fileName = "D:/user_data.xlsx";EasyExcel.read(fileName, UserData.class, new UserDataListener()).sheet() // 讀取第一個工作表.doRead(); // 開始讀取}
}
Web 場景下的 Excel 導出
在 Web 項目中,我們經常需要實現 Excel 導出功能,讓用戶可以直接下載文件:
@RequestMapping("/export")
public void exportExcel(HttpServletResponse response) throws IOException {// 準備數據List<UserData> dataList = getUserDataList();// 設置響應頭response.setContentType("application/vnd.openxmlformats-officedocument.spreadsheetml.sheet");response.setCharacterEncoding("UTF-8");String fileName = URLEncoder.encode("用戶數據", "UTF-8").replaceAll("\\+", "%20");response.setHeader("Content-disposition", "attachment;filename*=utf-8''" + fileName + ".xlsx");// 寫入響應流EasyExcel.write(response.getOutputStream(), UserData.class).sheet("用戶列表").doWrite(dataList);
}
高級特性
- 大數據量處理
EasyExcel 專門為大數據量場景設計,即使處理百萬級數據也不會出現內存問題:
// 讀取大數據量Excel
EasyExcel.read(fileName, UserData.class, new UserDataListener()).batchRead(1000) // 批量讀取,每1000條處理一次.sheet().doRead();
- 復雜表頭處理
支持多級表頭的導入導出:
// 定義復雜表頭
List<List<String>> head = new ArrayList<>();
head.add(Arrays.asList("用戶信息", "姓名"));
head.add(Arrays.asList("用戶信息", "年齡"));
head.add(Arrays.asList("聯系信息", "郵箱"));// 寫入復雜表頭
EasyExcel.write(fileName).head(head).sheet("復雜表頭示例").doWrite(dataList);
- 數據轉換與格式化
通過自定義轉換器處理特殊格式的數據:
// 自定義轉換器
public class CustomConverter implements Converter<LocalDateTime> {@Overridepublic Class<LocalDateTime> supportJavaTypeKey() {return LocalDateTime.class;}@Overridepublic CellDataTypeEnum supportExcelTypeKey() {return CellDataTypeEnum.STRING;}// 讀取時轉換@Overridepublic LocalDateTime convertToJavaData(ReadConverterContext<?> context) {return LocalDateTime.parse(context.getReadCellData().getStringValue(), DateTimeFormatter.ofPattern("yyyy年MM月dd日 HH:mm:ss"));}// 寫入時轉換@Overridepublic WriteCellData<?> convertToExcelData(WriteConverterContext<LocalDateTime> context) {return new WriteCellData<>(context.getValue().format(DateTimeFormatter.ofPattern("yyyy年MM月dd日 HH:mm:ss")));}
}
一個完整的ExcelUtils類
public class ExcelUtils {/*** 讀取前端上傳的excel文件*/public static <T> void readAnalysis(MultipartFile file, Class<T> head, ExcelFinishCallBack<T> callBack) {try {EasyExcel.read(file.getInputStream(), head, new ExcelDataListener<>(callBack)).sheet().doRead();} catch (IOException e) {e.printStackTrace();}}/*** 讀取本地excel文件** @param <T> 數據類型* @param file excel文件* @param head 列名* @param callBack 回調 導入時傳入定義好的回調接口,excel數據解析完畢之后監聽器將數據傳入回調函數* 這樣調用工具類時可以通過回調函數獲取導入的數據,如果數據量過大可根據實際情況進行分配入庫*/public static <T> void readAnalysis(File file, Class<T> head, ExcelFinishCallBack<T> callBack) {try {EasyExcel.read(new FileInputStream(file), head, new ExcelDataListener<>(callBack)).sheet().doRead();} catch (IOException e) {e.printStackTrace();}}/*** 讀取excel文件 同步** @param <T> 數據類型* @param file 文件* @param clazz 模板類* @return java.util.List*/public static <T> List<T> readSync(File file, Class<T> clazz) {return readSync(file, clazz, 1, 0, ExcelTypeEnum.XLSX);}/*** 讀取excel文件 同步** @param <T> 數據類型* @param file 文件* @param clazz 模板類* @param rowNum 數據開始行 1* @param sheetNo 第幾張表* @param excelType 數據表格式類型* @return java.util.List list*/public static <T> List<T> readSync(File file, Class<T> clazz, Integer rowNum, Integer sheetNo, ExcelTypeEnum excelType) {return EasyExcel.read(file).headRowNumber(rowNum).excelType(excelType).head(clazz).sheet(sheetNo).doReadSync();}/*** 導出數據到文件** @param <T> 數據類型* @param head 類名* @param file 導入到本地文件* @param data 數據*/public static <T> void excelExport(Class<T> head, File file, List<T> data) {excelExport(head, file, "sheet1", data);}/*** 導出數據到文件** @param <T> 寫入格式* @param head 類名* @param file 寫入到文件* @param sheetName sheet名稱* @param data 數據列表*/public static <T> void excelExport(Class<T> head, File file, String sheetName, List<T> data) {try {EasyExcel.write(file, head).sheet(sheetName).doWrite(data);} catch (Exception e) {throw new RuntimeException(e);}}/*** 導出數據到web* 文件下載(失敗了會返回一個有部分數據的Excel)** @param head 類名* @param excelName excel名字* @param sheetName sheet名稱* @param data 數據* 數據導出到web響應*/public static <T> void excelExport(Class<T> head, String excelName, String sheetName, List<T> data) {try {HttpServletResponse response = getExportResponse(excelName);EasyExcel.write(response.getOutputStream(), head).sheet(StringUtils.isBlank(sheetName) ? "sheet1" : sheetName).doWrite(data);} catch (IOException e) {throw new RuntimeException(e);}}/*** 導出數據到web* 文件下載(失敗了會返回一個有部分數據的Excel)** @param head 類名* @param excelName excel名字* @param sheetName sheet名稱* @param data 數據*/public static <T> void excelExport(List<List<String>> head, String excelName, String sheetName, List<T> data) {try {HttpServletResponse response = getExportResponse(excelName);EasyExcel.write(response.getOutputStream()).head(head).sheet(StringUtils.isBlank(sheetName) ? "sheet1" : sheetName).doWrite(data);} catch (IOException e) {throw new RuntimeException(e);}}/*設置編碼格式,允許前端訪問文件名進行跨域審核
*/private static HttpServletResponse getExportResponse(String excelName) {//獲得當前HTTP響應對象HttpServletResponse response = HttpContextUtils.getHttpServletResponse();//告訴瀏覽器返回的是excel文件response.setContentType("application/vnd.openxmlformats-officedocument.spreadsheetml.sheet");//允許前端讀取文件名 filename:指定下載時顯示的文件名response.setHeader("Access-Control-Expose-Headers", "Content-Disposition");//設置編碼格式response.setCharacterEncoding("UTF-8");//將文件名進行編碼String fileName = URLUtil.encode(excelName, StandardCharsets.UTF_8);//允許前段JavaScript訪問Content-Disposition頭 獲取文件名response.setHeader("Content-disposition", "attachment;filename=" + fileName + ".xlsx");return response;}/*** 解析字典數據到字段上* 比如 T中有 genderLabel字段 為男 需要給 gender 字段自動設置為0** @param dataList 需要被反向解析的數據*/@SneakyThrowspublic static <T extends TransPojo> void parseDict(List<T> dataList) {//沒有數據就不需要初始化if (CollectionUtil.isEmpty(dataList)) {return;}Class<? extends TransPojo> clazz = dataList.get(0).getClass();//拿到所有需要反向翻譯的字段 注解帶Trans注解的字段List<Field> fields = ReflectUtils.getAnnotationField(clazz, Trans.class);//過濾出類型為字典TransType.DICTIONARY的字段fields = fields.stream().filter(field -> TransType.DICTIONARY.equals(field.getAnnotation(Trans.class).type())).collect(Collectors.toList());//從spring容器中獲取字典轉換服務DictionaryTransService dictionaryTransService = SpringUtil.getBean(DictionaryTransService.class);//反射設置值for (T data : dataList) {//獲取關聯字段的值for (Field field : fields) {//從字典中服務中獲取映射值Trans trans = field.getAnnotation(Trans.class);// key不能為空并且ref不為空的才自動處理if (StrUtil.isAllNotBlank(trans.key(), trans.ref())) {
// 根據字段名獲取對應的Field對象 類似于user類中的gender字段Field ref = ReflectUtils.getDeclaredField(clazz, trans.ref());//打開訪問私有屬性的開關ref.setAccessible(true);// 獲取字典映射值String value = dictionaryTransService.getDictionaryTransMap().get(trans.key() + "_" + ref.get(data));if (StringUtils.isBlank(value)) {continue;}// 一般目標字段是int或者string字段 后面有添加單獨抽離方法if (Integer.class.equals(field.getType())) {field.setAccessible(true);field.set(data, ConverterUtils.toInteger(value));} else {field.setAccessible(true);field.set(data, ConverterUtils.toString(value));}}}}}}
總結
EasyExcel 作為一款優秀的 Excel 處理工具,憑借其低內存占用、簡單易用的特點,已經成為 Java 開發中處理 Excel 的首選框架。無論是簡單的 Excel 導入導出,還是復雜的大數據量處理場景,EasyExcel 都能輕松應對。
如果你還在為 POI 的內存問題煩惱,不妨試試 EasyExcel,相信它會給你帶來驚喜!
歡迎在評論區分享你使用 EasyExcel 的經驗和技巧~