前言

此處主要作為科普帖進行記錄

原先Java處理海量數據的導入時，由于接口超時，數據處理不過來，后續轉為Navicat

Navicat 是一款功能強大的數據庫管理工具，支持多種數據庫系統（如 MySQL、PostgreSQL、SQLite、Oracle 等）
它提供便捷的數據導入功能，可以將 Excel 數據導入到數據庫中

Navicat 提供了數據庫的連接管理、數據表操作、數據導入導出等功能。數據對于導入，它支持從多種文件格式（如 Excel、CSV、JSON 等）導入數據到數據庫中

注意事項：

• 數據格式：確保 Excel 文件中的數據格式與數據庫表的字段類型一致。例如，日期字段應為日期格式，數字字段應為數字格式
• 性能優化：對于海量數據，建議先對數據進行清洗和預處理，去除重復數據和無效數據
• 錯誤處理：如果導入過程中出現錯誤，Navicat 會記錄錯誤信息。可以根據錯誤提示進行排查，例如字段映射錯誤、數據格式不匹配等
• 備份數據：在導入數據之前，建議備份目標數據庫，以防數據導入過程中出現問題導致數據丟失

正文

點擊數據庫表右鍵導入向導

選擇數據源（注意事項如下）

1. Excel的數據需要整理完好，比如id自增字段，增加一行空列！
2. 非空的列 可以在數據庫上設置一個默認值，或者 直接在Excel中插入相關數據；如果數據不重要，可以再導入前設置為空，待導入之后，將其修改完畢

附加選項

選擇對應的sheet表

選擇相關的映射字段

導入模式選擇

直接導入（由于Excel的數據清洗有個別缺失，數據字典沒有轉化好，導致有幾百條出錯！）