第一種合并方法:
在sheet的第一行,追加新表concat舊表
read_excel讀取舊表全部
to_excel新表追加寫入舊表
需要的時間:
第二種合并方法:
在sheet的最后一行,直接追加新表
load_book只讀用來獲取舊表sheet行數
read_excel讀取舊表表頭(因為新表表頭可能會改變,需要re_index對齊舊表)
to_excel新表追加寫入舊表
需要的時間:
讀取新表沒有計時
新表10r
舊表7000+r
總結:之前小樣本數據一直用第二種,樣本量上來之后就開始慢了。這樣看還是第二種方法好,主要是讀取和寫入的時間都少了,文件(舊表)打開關閉的時間沒有變。打開的時候沒有使用with語句上下文管理,不知道改一下io操作的效率會不會有變化,目前看打開和關閉文件都挺費時間的。另外,好像有帖子寫過xlsxwriter的效率會更快,沒有實踐過,不想整了。
更:后面試了一下with語句,效率沒什么變化