使用Linux操作MySQL數據庫分批導出數據為.SQL文件

當數據庫某張數據量非常大的表進行其他操作,需要先進行導出時;
先用linux進入操作環境,

1.添加一個export_mysql_batches.sh腳本文件,

#!/bin/bash# 數據庫連接配置
DB_HOST="36.33.0.138:3306"
DB_USER="devuser"
DB_PASS="rntec@mes1"
DB_NAME="rntec"
TABLE="prod_line_oper_log_history"# 分批設置
BATCH_SIZE=100000
OUTPUT_DIR="/home/output"  # 設置輸出目錄# 創建輸出目錄
mkdir -p "$OUTPUT_DIR"# 獲取總行數
TOTAL_ROWS=$(mysql -h$DB_HOST -u$DB_USER -p$DB_PASS -e "SELECT COUNT(*) FROM $DB_NAME.$TABLE" -s)# 計算總批次數
BATCHES=$(( ($TOTAL_ROWS + $BATCH_SIZE - 1) / $BATCH_SIZE ))# 記錄開始時間
START_TIME=$(date +"%Y-%m-%d %H:%M:%S")echo "[$START_TIME] 開始導出 $TABLE 表數據,共 $TOTAL_ROWS 行,分 $BATCHES 批導出..."# 循環分批導出
for (( i=0; i<$BATCHES; i++ ))
doCURRENT_TIME=$(date +"%Y-%m-%d %H:%M:%S")OFFSET=$(( $i * $BATCH_SIZE ))OUTPUT_FILE="$OUTPUT_DIR/${TABLE}_batch_$(printf "%04d" $i).sql"echo "[$CURRENT_TIME] 正在導出第 $((i+1))/$BATCHES 批 (OFFSET $OFFSET)..."mysqldump -h$DB_HOST -u$DB_USER -p$DB_PASS \--no-create-info \--no-tablespaces \--skip-triggers \--compact \--where="1 LIMIT $BATCH_SIZE OFFSET $OFFSET" \$DB_NAME $TABLE > "$OUTPUT_FILE"# 檢查文件是否生成成功if [ -s "$OUTPUT_FILE" ]; thenecho "成功導出到 $OUTPUT_FILE"elseecho "警告: $OUTPUT_FILE 為空或未創建"fi
done# 記錄結束時間
END_TIME=$(date +"%Y-%m-%d %H:%M:%S")
echo "[$END_TIME] 所有批次導出完成!文件保存在 $OUTPUT_DIR"

2.修改數據庫連接參數和表名;
3.給腳本執行權限:chmod +x export_mysql_batches.sh;
4.使用 nohup ./export_mysql_batches.sh & 讓腳本在后臺運行。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/pingmian/87930.shtml
繁體地址,請注明出處:http://hk.pswp.cn/pingmian/87930.shtml
英文地址,請注明出處:http://en.pswp.cn/pingmian/87930.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

LeetCode 算法題解:鏈表與二叉樹相關問題 打打卡

LeetCode 算法題解&#xff1a;鏈表與二叉樹相關問題 在算法學習和實踐中&#xff0c;LeetCode 是一個非常好的平臺&#xff0c;它包含了各種各樣的算法題目&#xff0c;有助于我們提升編程能力和解決問題的能力。本文將詳細講解在 leetcoding.cpp 文件中實現的一些鏈表和二叉樹…

故宮票價監控接口分析(一)

故宮票價監控接口分析(一) 對爬蟲、逆向感興趣的同學可以查看文章,一對一小班教學(系統理論和實戰教程)、提供接單兼職渠道:https://blog.csdn.net/weixin_35770067/article/details/142514698 本文內容僅供學習和參考之用,不得用于商業目的。作者對文中內容的準確性、完整…

AWS OpenSearch Dev Tools使用

# 創建通用索引模版 PUT _template/aws-waf_logs_template {"index_patterns": ["aws-waf-logs-*"],"mappings": {"properties": {"timestamp": {"type": "date"}}} }# 設置單個索引格式 PUT /aws-waf-…

git-安裝 Gerrit Hook 自動生成changeid

要在 Git 中安裝 Gerrit Hook 以自動生成 Change-ID&#xff0c;可以按照以下步驟操作&#xff1a; 全局鉤子配置&#xff08;推薦&#xff09; 創建全局鉤子目錄并下載 Gerrit 提供的 commit-msg 鉤子腳本&#xff0c;確保所有倉庫共享該配置&#xff1a; mkdir -p ~/.githook…

Excel 的多線程特性

Excel 本身并不是完全多線程的應用程序&#xff0c;但它在某些操作和功能上支持多線程處理。以下是對 Excel 是否多線程的詳細解答&#xff0c;結合你之前提到的 VBA/COM 自動化代碼和受保護視圖問題&#xff0c;提供清晰且準確的分析。 Excel 的多線程特性計算引擎的多線程支持…

【嵌入式ARM匯編】-操作系統基礎(一)

操作系統基礎(一) 文章目錄 操作系統基礎(一)1、操作系統架構概述2、用戶模式與內核模式3、進程4、系統調用5、對象和句柄我們想要逆向的程序幾乎從來不會在真空中執行。相反,程序通常在正在運行的操作系統(例如 Linux、Windows 或 macOS)的上下文中運行。因此,了解這些…

[創業之路-474]:企業經營層 - 小米與華為多維對比分析(2025年視角),以后不要把這兩家公司放在同一個維度上 進行比較了

一、行業定位與市場角色不同華為&#xff1a;用技術手段解決行業的難題&#xff0c;順便賺錢技術驅動型硬科技企業&#xff1a;以通信設備起家&#xff0c;延伸至智能手機、芯片、操作系統&#xff08;鴻蒙&#xff09;、云計算、智能汽車等領域&#xff0c;構建“云-管-端”全…

C#基礎篇(06)抽象類與接口詳解區別

抽象類是 C# 面向對象編程中的一個重要概念&#xff0c;它介于普通類和接口之間&#xff0c;提供了一種定義部分實現并要求派生類完成其余部分的機制。一、C# 中的抽象類抽象類是 C# 面向對象編程中的一個重要概念&#xff0c;它介于普通類和接口之間&#xff0c;提供了一種定義…

使用Python將PDF轉換成word、PPT

在現代企業環境中,文檔格式的轉換是一項普遍且關鍵的需求。PDF(Portable Document Format)作為一種最終的、通常不可編輯的“打印”狀態格式,被廣泛用于分發和歸檔。然而,內容的創建、協作和修改主要在Microsoft Office套件中進行,特別是Word(DOCX)和PowerPoint(PPTX)…

香港風水(原生)林地的邏輯分類器

風水林是香港的原生林地&#xff0c;由于地處偏遠、地形崎嶇以及當地居民的信仰&#xff0c;這些林地得以保存完好。在香港&#xff0c;我們可以追溯到1924年的航拍圖像記錄&#xff0c;這些黑白航拍圖像已經幫助我們劃分和區分了林地、草地和灌木叢。然后&#xff0c;通過二戰…

[Swarm] Result對象 | 智能體切換 | Response對象 | muduo review

第5章&#xff1a;結果對象 歡迎回到swarm&#xff01; 在上一章第4章&#xff1a;功能中&#xff0c;我們學習了如何通過定義Python功能賦予智能體技能。我們見證了當AI決策調用時&#xff0c;Swarm框架如何執行這些功能。 當前&#xff0c;我們的功能僅返回簡單字符串如&q…

[2-02-02].第04節:環境搭建 - Linux搭建ES集群環境

ElasticSearch學習大綱 一、ES集群規劃&#xff1a; 關系型數據庫&#xff08;比如Mysql&#xff09;非關系型數據庫&#xff08;Elasticsearch&#xff09;非關系型數據庫&#xff08;Elasticsearch&#xff09;centos7hadoop103192.168.148.3centos7hadoop104192.168.148.4c…

部署并運行Spike-Driven-Transformer或QKFormer

部署并運行Spike-Driven-Transformer或QKFormer 我將指導你如何部署和運行Spike-Driven-Transformer或QKFormer代碼,并在CIFAR-10、CIFAR-100和ImageNet-1K數據集上進行訓練和測試。 1. 環境準備 首先需要設置Python環境并安裝必要的依賴項: # 創建conda環境(推薦) con…

爬蟲-request處理POST

1.概念很少在URL寫參數&#xff0c;都在form data里面POST 的主要作用是將客戶端的數據提交給服務器。這些數據可以是表單輸入、文件內容、JSON 數據、XML 數據等等POST 請求攜帶的數據放在 HTTP 消息的請求體中。這與 GET 請求形成鮮明對比&#xff1a;GET 請求的數據通常附加…

免U盤一鍵重裝系統

免U盤一鍵重裝系統 簡單介紹 詳細的看GitHub項目首頁 GitHub地址 # 下載腳本 curl -O https://cnb.cool/bin456789/reinstall/-/git/raw/main/reinstall.sh || wget -O reinstall.sh $_ # 重裝系統 bash reinstall.sh ubuntu # 重啟 rebootPS: 重啟過程中, 可能需要手動選擇r…

自動化一次通過率

自動化測試中的“一次通過率”&#xff08;First-pass Pass Rate&#xff09;?? 是指自動化測試腳本在首次執行&#xff08;無人工干預、無重試&#xff09;?時&#xff0c;?成功通過的測試用例數占總執行用例數的百分比。?核心概念解析???“一次”的含義??首次運行?…

111111事件

1.抽取 minio 當做文件對象存儲服務器&#xff0c;在上面封裝一層api&#xff0c;方便操作。 &#xff08;文件上傳&#xff0c;指定路徑上傳&#xff0c;隨機命名上傳&#xff0c;前端獲取token直接傳&#xff0c;適合大對象&#xff0c;圖片壓縮&#xff09; 2.規范整個java項…

Qt的ui文件的編譯和使用

Qt中的ui文件編譯的類 要么繼承 &#xff0c;要么實例化一個變量個人覺得還是繼承好點&#xff0c;這樣每次調用控件時&#xff0c;不用都要在控件前加上 ui.1 上面使用的是繼承的關系&#xff0c;這樣就可以直接使用控件.屬性&#xff0c;而不用 ui.控件.樹形2 QT中UI文件…

數據結構之樹,二叉樹,二叉搜索樹

一.樹1.形狀2. 相關概念節點的度&#xff1a;一個節點含有的子樹的個數稱為該節點的度&#xff1b; 如上圖&#xff1a;A的為6葉節點或終端節點&#xff1a;度為0的節點稱為葉節點&#xff1b; 如上圖&#xff1a;B、C、H、I...等節點為葉節點非終端節點或分支節點&#xff1a;…

LLM微調隨記錄

【如何把領域文獻批量轉換為可供模型微調的數據集&#xff1f;】 https://www.bilibili.com/video/BV1y8QpYGE57/?share_sourcecopy_web&vd_source8f9078186b93d9eee26026fd26e8a6ed 幾個問題 首先要先搞清楚這幾個問題 LLM 訓練方法如何選擇合適的訓練方式如何判斷是否…