導入數據教程:
前提.csv文件:且只能導入一個sheet
點擊下一步
選中導入的.csv文件
對應好數據字段和表字段,感覺不需要導入的可以skip
配置一下,下面有介紹:
以下為你詳細解析這些數據加載相關功能的含義與作用:
數據加載(Data load)部分
-
Transfer auto - generated columns(傳輸自動生成的列)
- 含義:若目標表存在數據庫自動生成的列(比如數據庫自動維護的自增主鍵
id
、時間戳列create_time
,由數據庫默認規則生成值 ),勾選后,數據加載時這些列會參與傳輸、處理(插入/更新流程里,保留或適配其自動生成邏輯 );不勾選則會跳過,不處理這些自動生成列相關的數據。 - 場景:遷移數據時,想保留數據庫自動生成的主鍵、時間戳等邏輯,就勾選;若需自定義覆蓋這些列值,可結合其他配置,或不勾選此選項。
- 含義:若目標表存在數據庫自動生成的列(比如數據庫自動維護的自增主鍵
-
Truncate target table(s) before load(加載前截斷目標表)
- 含義:“Truncate(截斷)” 是數據庫操作,會清空目標表所有數據(比
DELETE
更高效,且不觸發觸發器,會重置自增計數器 )。勾選后,執行數據加載前,先清空目標表;不勾選則保留表中已有數據,新數據按配置的 “替換/忽略策略(Replace method)” 處理(如增量插入、沖突更新等 )。 - 場景:做全量數據同步/初始化加載,要清空舊數據、重新灌入,就勾選;做增量更新,需保留歷史數據,則不勾選。
- 含義:“Truncate(截斷)” 是數據庫操作,會清空目標表所有數據(比
-
Replace method: (替換方法:<無>)
- 含義:決定數據加載時,遇到新舊數據沖突(主鍵重復等 )的處理邏輯。選
<None>
時,通常按數據庫默認沖突規則(如插入沖突則報錯終止 );若選其他策略(如Replace
會覆蓋舊數據,Ignore
會跳過沖突行 ),則按對應邏輯處理。 - 場景:全量覆蓋場景選
Replace
;增量更新、跳過沖突數據選Ignore
;想嚴格校驗沖突、報錯終止,保持<None>
用數據庫默認行為。
- 含義:決定數據加載時,遇到新舊數據沖突(主鍵重復等 )的處理邏輯。選
-
Replace/Ignore method documentation(替換/忽略方法文檔)
- 含義:點擊可查看 “替換/忽略策略” 詳細說明文檔,包含每種策略邏輯、適用場景、與數據庫交互細節等,幫你選合適沖突處理方式。
- 場景:配置數據加載,不確定選哪種 “替換/忽略” 策略時,點此查閱,輔助決策。
性能(Performance)部分
-
打開新連接(Open new connection,界面顯示為中文,英文一般對應表述 )
- 含義:數據加載時,是否新建獨立數據庫連接。勾選則啟用新連接,與當前其他數據庫操作(如界面查詢 )的連接隔離;不勾選則復用已有連接(若支持 )。
- 場景:數據加載任務復雜、數據量大,怕影響現有數據庫連接的操作(如業務查詢 ),就勾選新建連接;簡單小量加載,為減少連接資源開銷,可復用連接(若系統支持 )。
-
Use transactions(使用事務)
- 含義:事務是數據庫保證操作原子性的機制(一組操作要么全成功,要么全回滾 )。勾選后,數據加載操作會包裹在事務里;失敗時,已執行的插入/更新會回滾,保證數據一致性;不勾選則可能按語句逐條執行,部分成功會導致數據不一致。
- 場景:數據完整性要求高(如財務、訂單數據同步 ),必須勾選;一些允許部分失敗、追求極致性能的日志類數據加載,可權衡是否關閉(但風險高 )。
-
Do Commit after row insert: 10000(每插入 10000 行后提交)
- 含義:控制事務提交頻率。每插入 10000 行數據,就提交一次事務(持久化到數據庫 );若中途失敗,已提交的批次數據保留,未提交的回滾。值越小,提交越頻繁,事務開銷大但數據更及時落庫;值越大,性能高但失敗時回滾范圍大。
- 場景:加載超大規模數據,為平衡性能和風險,設合理值(如 10000 );小數據量加載,可減小值(如 1000 ),讓數據更快落庫。
-
Disable batches(禁用批處理)
- 含義:“批處理(Batches)” 是將多條數據操作(插入/更新 )打包成一個批次,一次性發給數據庫執行,提升效率。勾選 “Disable batches” 則關閉批處理,數據操作逐條執行,性能會降低(尤其大數據量時 )。
- 場景:數據庫對批處理支持不好(舊版本、自定義存儲過程沖突 ),或需調試、定位單行數據問題,可勾選禁用;追求性能、大數據量加載,保持不勾選,用批處理加速。
常規(General)部分
Open table editor on finish(完成后打開表編輯器)
- 含義:數據加載任務執行完畢,自動打開目標表的編輯器界面,方便你直接查看、校驗加載后的數據(瀏覽表結構、數據內容,快速核對結果 )。
- 場景:做數據加載驗證、調試,想立即看結果,就勾選;加載任務是自動化流程一部分,無需人工干預查看,可不勾選,減少界面自動彈窗操作。
這些功能相互配合,能靈活控制數據加載的全流程(從數據處理邏輯,到性能調優,再到結果校驗 ),適配不同業務場景(全量/增量、性能優先/安全優先等 )的需求 。