mongodb 導入 mysql_將mongodb 數據指定字段導出,然后指定字段導入mysql 實例 及相關問題解決...

需求:將mongodb 數據指定字段導出,然后再指定字段導入mysql ?表中

直接上圖吧,

最后 會將遇到幾個問題及解決方案貼出,以便遇到類似問題可以迅速解決(期間所用命令具體用法不在本文詳解之內)

將mongodb 數據指定字段導出,所用命令Mongoexport ,具體查閱官方文檔;

27748e8a3a0215adf39e624f4fc3cf4a.png

導出指定二級字段 Mongodb

/opt/mongodb/bin/mongoexport??--host?yourip ?--port yourport ? -d app_form -c?application_data ?--csv??--out export2.csv??--fields ? applicant.name,applicant.id_card_num,applicant.cell_phone_num,applicant.home_addr

2f330441de62f5e37c0f5f104897c246.png

2. 在mysql 機器上 rsync 傳輸過來,rysnc 用法就不講了,帶過rsync?-chavzP?--stats?yourusername@yourip:/home/mongodata/export.csv???/data/mysql/

3.導入mysql,這里有兩種情況,一種是導入全新的表,另一種則是導入已存在的表,但是需要指定該表具體字段

新表:

LOAD DATA INFILE '/data/mysql/export2.csv' ?INTO TABLE temp_test ?CHARACTER SET utf8 ?FIELDS TERMINATED BY ',' ENCLOSED BY '"';

老表指定字段:

LOAD DATA INFILE '/data/mysql/export2.csv' ?INTO TABLE temp_test2 ?CHARACTER SET utf8mb4 FIELDS TERMINATED BY ',' ENCLOSED BY '"' (name,idcard,tellnumber, address);

結果驗證:

13ac2694530d1ccdd9368c966e1dd4fd.png

導入成功;

4.疑難雜癥1:mongo 導出時二級字段的正確導出方法

02ae6a0f60e746232220173f4fccc4ee.png

4.疑難雜癥2:mysql導入時 ERROR 1366 (HY000): Incorrect string value: '\xF0\xA5\x8C\x93\xE5\x85...' for column 'address' at row 45293 解決?方法

這個問題很難解決,一般是認為utf8mb4 所導致,具體原因看下面,需要修改表的默認字符集,并以指定utf8mb4 導入;

7f86bb80c4ab7c7394c621b6c89a7d38.png

5bbd48364693824a8a7d3340357ca4d0.png

ALTER TABLE temp_test2 ?CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; ?修改即可1

4.疑難雜癥3:mongo 導入時ERROR 1262 (01000): Row 1066659 was truncated; it contained more data than there were input columns 解決方法,sql_mode 的問題,需要修改;

b47b2c82b605e7700b08e895191662d8.png

5.其他問題,比如主鍵重復,字段大小不滿足要求,等等小問題自行琢磨解決

最后正常的結果顯示:

42252e0859fcedeb683f77a1ee840409.png

百度內搜到的帖子能解決此類問題的很少,并且都不是完整的實例,這里貼出完整的整個操作實例,希望對大家有幫助;

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/530588.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/530588.shtml
英文地址,請注明出處:http://en.pswp.cn/news/530588.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

mysql外部排序_深入淺出MySQL優先隊列(你一定會踩到的order by limit 問題)

0.先拋問題假設字段category無索引且有重復值,order by category 和 limit 組合使用的結果會和預期不符。問題復現:表結構(就是兩個字段)CREATE TABLE ratings (id int(11) NOT NULL AUTO_INCREMENT,category int(11) DEFAULT NULL,PRIMARY KEY (id)) EN…

int signed in mysql_【轉】mysql 中int類型字段unsigned和signed的區別

轉自https://www.cnblogs.com/wangzhongqiu/p/6424827.html用法:mysql> CREATE TABLE t ( a INT UNSIGNED, b INT UNSIGNED )探索一:正負數問題拿tinyint字段來舉例,unsigned后,字段的取值范圍是0-255,而signed的范…

navicat fo mysql 教程_Navicat For MySQL的簡單使用教程

1.前提是必須先安裝好MySQL數據庫(Mac下安裝MySQL數據庫見前一篇)2.安裝Navicat3.點擊navicate左上角:連接->MySQL->先測鏈接下,如果提示連接成功,就可以填寫連接名,點擊連接即可。雙擊剛創建的連接下面會有四個數據庫用naV…

mysql linux32_Linux 配置 mysql 5.7.32 實操記錄

下載環節官網自行獲取檢查環境環節1. 檢測自帶mysql#rpm -qa | grep mysql2.刪除 “1” 找到的 所有#rpm -e --nodeps 名稱3.查詢所有mysql文件夾#whereis mysql#find / -name mysql刪除所有結果 (rm -rf 文件路徑)安裝環節1. 切換路徑#cd /usr/local2.拷貝mysql安裝包到此目錄…

mysql8.0 tar安裝_CentOS7安裝MySQL8.0 tar包

CentOS7安裝MySQL8.0 tar包一、卸載1. 查看有沒有安裝mysqlrpm -qa | grep mysql刪除#rpm -e --nodeps mysql-libs-5.1.71-1.el6.i686 或# for i in $(rpm -qa|grep mysql);do rpm -e $i --nodeps;done2. 使用 find / -name mysql 命令查找原有mysql的相關配置文件,…

mysql官網 ab_MySQLAB同步

MySQL 支持單向、異步復制,復制過程中一個服務器充當主服務器,而一個或多個其它服務器充當從服務器。主服務器將更新寫入二進制日1 . 介紹MySQL 支持單向、異步復制,復制過程中一個服務器充當主服務器,而一個或多個其它服務器充當從服務器。主服務器將更新寫入二進制日志文件,并…

jtree和mysql_java 已經獲取某個mysql數據庫的所有表名 創建JTree

展開全部那只e68a843231313335323631343130323136353331333335303530能創建一層的JTree ?import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;import javax.swing.JFram…

mvc json 亂碼_你了解JSON嗎?——Jackson、FastJson在SpringMVC中的簡單使用

原文參考分享自CSDN:你了解JSON嗎?--Jackson、FastJson在SpringMVC中的簡單使用_歡迎來到 Baret~H 的博客-CSDN博客1. 什么是 JSONJSON(JavaScript Object Notation, JS 對象標記)是一種輕量級的數據交換格式采用完全獨立于編程語…

format 函數包含_Python成為專業人士筆記-高級對象Format格式化

“專業人士筆記”系列目錄:創帆云:Python成為專業人士筆記--強烈建議收藏!每日持續更新!?zhuanlan.zhihu.com在存儲和轉換數據輸出供查看時,字符串格式可能變得非常重要。Python提供了本文概述的各種字符串格式化方法…

python 預測算法_Python 與金融數據使用機器學習算法預測交易策略

記得 關注、分享、點在看呀~ 這樣您就能持續收到優質的推送啦這一期,我們將使用上一期處理好的數據特征和標簽訓練機器,然后預測交易策略。我們將分別使用 K近鄰算法和集成學習兩種方法分別完成模型的訓練和預測。FinTech HistoryPython 與金…

mysql主從表結構差異_mysqldiff對比主從表結構是否一致

mysqldiff該工具是官方mysql-utilities工具集的一個腳本,可以實現主從服務器表結構是否一致。數據校驗需要使用Percona的pt-table-checksum工具。安裝:# tar zxvf mysql-utilities-1.5.4.tar.gz# cd mysql-utilities-1.5.4# python setup.py install使用…

mysql 存儲過程插入慢_mysql存儲過程太慢怎么辦

mysql存儲過程太慢的解決方法:首先打開my.cnf配置文件;然后添加配置【long_query_time1】;接著通過【tail -f /tmp/logs/mysqld.log】命令監控sql;最后進行針對性的優化即可。解決方法:第一步:修改/etc/my.…

mongoose換成mysql_Package - tms-koa

tms-koa基于koa的輕量級快速開發框架,包含 MVC 中的 M 和 C 兩部分,適合于實現 API 服務和前后端徹底分離的應用。內置基于 access_token 的訪問鑒權機制,更容易實現 API 調用的負載分擔。內置通過連接池訪問 MySQL 數據庫,支持進…

導出遠程mysql數據庫中的表_shell腳本實現導出遠程mysql數據庫表數據至本地

bin/main.sh腳本內容 #!/bin/bash#作用:用于同步遠程mysql數據庫表數據至本地#作者:丁藝博source /etc/profilesource ~/.bash_profileexport LANGen_US.UTF-8export RUN_HOME$(cd "$(dirname "$0")"; echo "${PWD%/*}")s…

商業智能解決方案_格至智能開關:簡單便捷的商業智能照明解決方案

美萊恩智能照明推出的格至智能調光開關,是一款便捷、可輕松實現擴展的智能照明系統。它能夠節約能源,并在為各種空間工作或者學習的人們,營造最舒適的照明環境。借助美萊恩SLT單火線傳輸技術,在新建或者改造項目中,你將…

vue 安裝 less_解決舊Vue項目升級less-loader 6.0.0報錯

作為一個愛折騰的主,我的package隨時都是ncu -u! 何為ncu,就是檢查nodejs npm/yarn項目依賴最新版本package.json一個插件! 這不,前幾天less-loader 升級了最新版,我也迫不及待升級。 升級最新版軟件依賴有很多好處,總之作為一個開發者你發布新版本肯定是升級改造的工作…

php讀取mysql數據無法修改時間_php設置mysql查詢讀取數據的超時時間

php可以設置mysql查詢的超時時間估計大家不知道吧,一般都直接在mysql中進行設置了,下面我們來為各位介紹一下php設置mysql查詢讀取數據的超時時間吧。現象:php能通過代理正常連接到mysql。但是,執行query后,一直等待&a…

mysql無序id怎么優化limit_MYSQL分頁limit速度太慢優化方法

原標題:MYSQL分頁limit速度太慢優化方法在mysql中limit可以實現快速分頁,但是如果數據到了幾百萬時我們的limit必須優化才能有效的合理的實現分頁了,否則可能卡死你的服務器哦。當一個表數據有幾百萬的數據的時候成了問題!如 * fr…

反積分飽和 程序_用抗積分飽和PID控制傳遞函數為G(s)的被控對象

題目:用抗積分飽和PID控制傳遞函數為G(s)的被控對象G(s)523500/(s^387.35s^210470s)二、抗積分飽和原理積分飽和現象是在系統存在一個方向的偏差,PID控制器的輸出由于積分作用的不斷加大而加大,從而導致執行器達到極限位置,如果控…

mysql top 1效率_TOP 1比不加TOP慢的疑惑

問題描述: 有一個查詢如下,去掉 TOP 1 的時候,很快就出來結果了,但加上 TOP 1 的時候,一般要 2~3 秒才出數據,何解? SELECT TOP 1 ??? A . INVNO FROM A , B WHERE A . Item B . ItemNumber…