excel大表導入數據庫

前文介紹了數據量較小的excel表導入數據庫的方法,在數據量較大的情況下就不太適合了,一個是因為mysql命令的執行串長度有限制,二是node-xlsx這個模塊加載excel文件是整個文件全部加載到內存,在excel文件較大和可用內存受限的場景就不適合了。我們可以考慮流式讀取excel數據,分批次導入數據到數據庫。以下是以每批500條記錄的示例:

const XLSX = require('xlsx-extract').XLSX;const mysql = require("mysql2/promise"); const localpool= mysql.createPool({host:"127.0.0.1",port:3306,user:"demouser",password:"XXXXXX",database:"demodb",jsonStrings: true,waitForConnections: true,connectionLimit: 4,enableKeepAlive: true, keepAliveInitialDelay: 5000,});const batchsize=500;let count=0;
let frist=true;
let batarr=[];
let fieldnames="";
let fieldcounts=0;new XLSX().extract(process.argv.slice(2)[0], {sheet_id:1}).on('row', function (row) {if (frist) { frist=false; fieldcounts=row.length; fieldnames=row.join(); }else {for (let j=row.length;j<fieldcounts;j++) row.push("");batarr.push(row);if (batarr.length==batchsize) { let addrecs = "insert into demodb.demotable("+fieldnames+") values ?"; localpool.query(addrecs,[batarr]).then(([results])=>{ console.log(results); batarr=[];}).catch(err=>{console.log(err);});}}}).on('error', function (err) {console.error('error', err);}).on('end', function (err) {if (batarr.length>0) { let addrecs = "insert into demodb.demotable("+fieldnames+") values ?"; localpool.query(addrecs,[batarr]).then(([results])=>{ console.log(results); }).catch(err=>{console.log(err);});}});

xlsx-extract這個模塊讀取行數據時,中間的空白單元會解析成undefined,但是最后一個有值的單元后就截止了,為了和數據庫里的字段數保持一致,要將剩余的字段賦值下,示例中賦值為空字符串。
這樣可以導入excel大文件進數據庫。
其實這樣導入數據效率比直接將csv或json文件直接導入mysql效率要低很多,不過有時候轉的csv文件或者json文件導入mysql會出現報錯情況,需要檢查字段值,數據量較大時檢查會很麻煩,所以這樣導入數據也是不得已的辦法。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/pingmian/80191.shtml
繁體地址,請注明出處:http://hk.pswp.cn/pingmian/80191.shtml
英文地址,請注明出處:http://en.pswp.cn/pingmian/80191.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Python 爬蟲基礎入門教程(超詳細)

一、什么是爬蟲&#xff1f; 網絡爬蟲&#xff08;Web Crawler&#xff09;&#xff0c;又稱網頁蜘蛛&#xff0c;是一種自動抓取互聯網信息的程序。爬蟲會模擬人的瀏覽行為&#xff0c;向網站發送請求&#xff0c;然后獲取網頁內容并提取有用的數據。 二、Python爬蟲的基本原…

Spring Security 深度解析:打造堅不可摧的用戶認證與授權系統

Spring Security 深度解析&#xff1a;打造堅不可摧的用戶認證與授權系統 一、引言 在當今數字化時代&#xff0c;構建安全可靠的用戶認證與授權系統是軟件開發中的關鍵任務。Spring Security 作為一款功能強大的 Java 安全框架&#xff0c;為開發者提供了全面的解決方案。本…

【物聯網】基于樹莓派的物聯網開發【1】——初識樹莓派

使用背景 物聯網開發從0到1研究&#xff0c;以樹莓派為基礎 場景介紹 系統學習Linux、Python、WEB全棧、各種傳感器和硬件 接下來程序貓將帶領大家進軍物聯網世界&#xff0c;從0開始入門研究樹莓派。 認識樹莓派 正面圖示&#xff1a; 1&#xff1a;樹莓派簡介 樹莓派…

第21節:深度學習基礎-激活函數比較(ReLU, Sigmoid, Tanh)

1. 引言 在深度學習領域,激活函數是神經網絡中至關重要的組成部分 它決定了神經元是否應該被激活以及如何將輸入信號轉換為輸出信號 激活函數為神經網絡引入了非線性因素,使其能夠學習并執行復雜的任務 沒有激活函數,無論神經網絡有多少層,都只能表示線性變換,極大地限…

Fiori學習專題三十:Routing and Navigation

實際上我們的頁面是會有多個的&#xff0c;并且可以在多個頁面之間跳轉&#xff0c;這節課就學習如何在不同頁面之間實現跳轉。 1.修改配置文件manifest.json&#xff0c;加入routing&#xff0c;包含三個部分&#xff0c;config,routes,targets; config &#xff1a; routerC…

【HarmonyOS NEXT+AI】問答05:ArkTS和倉頡編程語言怎么選?

在“HarmonyOS NEXTAI大模型打造智能助手APP(倉頡版)”課程里面&#xff0c;有學員提到了這樣一個問題&#xff1a; 鴻蒙的主推開發語言不是ArkTS嗎&#xff0c;本課程為什么使用的是倉頡編程語言&#xff1f; 這里就這位同學的問題&#xff0c;統一做下回復&#xff0c;以方便…

Booth Encoding vs. Non-Booth Multipliers —— 穿透 DC 架構看乘法器的底層博弈

目錄 &#x1f9ed; 前言 &#x1f331; 1. Non-Booth 乘法器的實現原理&#xff08;也叫常規乘法器&#xff09; &#x1f527; 構建方式 ?? 例子&#xff1a;4x4 Non-Booth 乘法器示意 &#x1f9f1; 硬件結構 ? 特點總結 ? 2. Booth Encoding&#xff08;布斯編碼…

GET請求如何傳復雜數組參數

背景 有個歷史項目&#xff0c;是GET請求&#xff0c;但是很多請求還是復雜參數&#xff0c;比如&#xff1a;參數是數組&#xff0c;且數組中每一個元素都是復雜的對象&#xff0c;這個時候怎么傳參數呢&#xff1f; 看之前請求直接是拼接在url后面 類似&items%5B0%5D.…

iOS App 安全性探索:源碼保護、混淆方案與逆向防護日常

iOS App 安全性探索&#xff1a;源碼保護、混淆方案與逆向防護日常 在 iOS 開發者的日常工作中&#xff0c;我們總是關注功能的完整性、性能的優化和UI的細節&#xff0c;但常常忽視了另一個越來越重要的問題&#xff1a;發布后的應用安全。 尤其是對于中小團隊或獨立開發者&…

A* (AStar) 尋路

//調用工具類獲取路線 let route AStarSearch.getRoute(start_point, end_point, this.mapFloor.map_point); map_point 是所有可走點的集合 import { _decorator, Component, Node, Prefab, instantiate, v3, Vec2 } from cc; import { oops } from "../../../../../e…

深度解析動態IP業務核心場景:從技術演進到行業實踐

引言&#xff1a;動態IP的技術演進與行業價值 在數字化轉型加速的今天&#xff0c;IP地址已從單純的網絡標識演變為支撐數字經濟的核心基礎設施。動態IP作為靈活高效的地址分配方案&#xff0c;正突破傳統認知邊界&#xff0c;在網絡安全防護、數據價值挖掘、全球業務拓展等領…

MySQL 性能調優:從執行計劃到硬件瓶頸

MySQL 性能調優&#xff1a;從執行計劃到硬件瓶頸 一、性能調優的宏觀視角與核心挑戰 在數字化浪潮下&#xff0c;企業數據量呈指數級增長&#xff0c;MySQL 作為主流關系型數據庫&#xff0c;面臨著巨大的性能壓力。某電商平臺日均訂單量突破千萬&#xff0c;高峰期數據庫響…

開源數字人框架 AWESOME - DIGITAL - HUMAN:技術革新與行業標桿價值剖析

一、項目核心價值:解鎖數字人技術新境界 1. 技術普及:降低準入門檻,推動行業民主化 AWESOME - DIGITAL - HUMAN 項目猶如一場技術春雨,為數字人領域帶來了普惠甘霖。它集成了 ASR、LLM、TTS 等關鍵能力,并提供模塊化擴展接口,將原本復雜高深的數字人開發流程,轉化為一…

robotframe啟動ride.py

我的雙擊ride.py會自動用pycharm打開&#xff0c;變成代碼文件 解決方法&#xff1a;定位到ride.py所在文件夾&#xff08;在anaconda的scripts里面&#xff09;&#xff0c;文件夾上方輸入cmd 再輸入該命令即可

怎樣簡單實現不同數據庫的表間的 JOIN 運算

數據分析涉及不同業務系統時就要做跨庫計算&#xff0c;而表間 JOIN 是最麻煩的&#xff0c;很多數據庫都不具備這樣的能力&#xff0c;用 Java 取數再計算又太復雜。用 esProc 完成跨庫 JOIN 會簡單很多。 數據與用例 車輛管理系統&#xff08;DB_Vehicle&#xff09;保存了…

Nacos源碼—4.Nacos集群高可用分析三

大綱 6.CAP原則與Raft協議 7.Nacos實現的Raft協議是如何寫入數據的 8.Nacos實現的Raft協議是如何選舉Leader節點的 9.Nacos實現的Raft協議是如何同步數據的 10.Nacos如何實現Raft協議的簡版總結 6.CAP原則與Raft協議 (1)CAP分別指的是什么 (2)什么是分區以及容錯 (3)為…

普通IT的股票交易成長史--20250509晚復盤

聲明&#xff1a; 本文章的內容只是自己學習的總結&#xff0c;不構成投資建議。價格行為理論學習可參考簡介中的幾位&#xff0c;感謝他們的無私奉獻。 送給自己的話&#xff1a; 倉位就是生命&#xff0c;絕對不能滿倉&#xff01;&#xff01;&#xff01;&#xff01;&…

python實現點餐系統

使用python實現點餐系統的增加菜品及價格&#xff0c;刪除菜品&#xff0c;查詢菜單&#xff0c;點菜以及會員折扣價等功能。 代碼&#xff1a; 下面展示一些 內聯代碼片。 # coding utf-8menu {拍黃瓜: 6, 小炒肉: 28, 西紅柿炒蛋: 18, 烤魚: 30, 紅燒肉: 38, 手撕雞: 45,…

從ellisys空口分析藍牙耳機回連手機失敗案例

問題背景&#xff1a; 前兩天同事發現我們現在做的項目&#xff0c;耳機在跟某些特定類型安卓手機&#xff08;尤其是比較新的手機&#xff09;回連會失敗&#xff0c;然后我幫他分析了一些log&#xff0c;記錄如下&#xff1a; 回連失敗所做步驟如下&#xff1a; 手機和耳機…

教育+AI:個性化學習能否顛覆傳統課堂?

近年來&#xff0c;人工智能&#xff08;AI&#xff09;技術迅猛發展&#xff0c;逐漸滲透到各行各業&#xff0c;教育領域也不例外。從智能輔導系統到自適應學習平臺&#xff0c;AI正在改變傳統的教學模式&#xff0c;使個性化學習成為可能。然而&#xff0c;這種變革能否真正…