實驗4.數據全量、增量、比較更新

【實驗目的】

1.利用Kettle的“表輸入”,“表輸入出”,”JavaScript代碼”組件,實現數據全量更新。
2.熟練掌握“JavaScript代碼”,“表輸入”,“表輸入出”組件的使用,實現數據全量更新。

【實驗原理】

通過“表輸入”對MySQL表格的數據讀入,然后通過“JavaScript代碼”更新抽取數據的時間,再通過“表輸入出”保存表格到MySQL數據庫。

【實驗環境】

操作系統:Windows10?
Kettle版本:7.1.0.0
jdk版本:1.8.0及以上版本

【實驗步驟】

一、建立轉換

雙擊spoon.bat打開kettle。(1)點擊新建按鈕,在下拉菜單中點擊選擇"轉換"即可創建;(2)然后點擊"保存"重命名該轉換文件,保存在某個指定的路徑;(3)選擇輸入步驟、輸出步驟和跳。

二、數據導入數據庫的準備工作

1.數據庫mysql

導入數據表:‘課程信息表’,

建立轉換,需要組件如圖所示:

2.“Excel的輸入”的配置

Step1:雙擊‘Excel輸入’組件,配置‘文件’選項卡,設置輸入數據的輸入流和路徑


Step2:配置‘工作表’選項卡,設置輸入數據的起始行和起始列


Step3:配置‘字段’選項卡,獲取字段名稱,并設置字段的數據類型(重點,以防報錯)

3.“表輸出”的配置

Step1:連接數據庫

創建數據庫代碼

create database testbase;
use testbase;
CREATE TABLE courses1 (編號 DOUBLE,課程名稱 VARCHAR(255), 課程大類 VARCHAR(255), 學分 DOUBLE,講師 VARCHAR(255), 開課時間 DATETIME,課時數 INT,  ETL_TIMESTAMP DATETIME
);

Step2:選擇數據庫和表名

?Step3:確定

?

Step4:獲取字段

4.運行結果

三、各組件的配置

1.“表輸入”的配置:

Step1:雙擊‘表輸入’組件,新建數據庫的連接并進行測試,


Step2:連接成功后,獲取表的字段名稱


2.“JavaScript代碼”的配置:

雙擊“HTTP client”組件,編寫Script1的代碼,并獲取其相應字段名稱和類型。


3.“表輸出”的配置:

雙擊‘表輸出’組件,選擇目標表的名稱,并使用SQL語句進行創建:

還要進行目標表courses2的創建

create database testbase;
use testbase;
CREATE TABLE courses2 (編號 DOUBLE,課程名稱 VARCHAR(255), 課程大類 VARCHAR(255), 學分 DOUBLE,講師 VARCHAR(255), 開課時間 DATETIME,課時數 INT,  ETL_TIMESTAMP DATETIME
);


4.“表輸出2”的配置:

雙擊‘表輸出2’組件,選擇目標表的名稱,并使用SQL語句進行創建:

進行目標表courses3的創建

create database testbase;
use testbase;
CREATE TABLE courses3 (編號 DOUBLE,課程名稱 VARCHAR(255), 課程大類 VARCHAR(255), 學分 DOUBLE,講師 VARCHAR(255), 開課時間 DATETIME,課時數 INT,  ETL_TIMESTAMP DATETIME
);

四、執行轉換

點擊按鈕,執行轉換,結果如下:

五、實驗結果:

輸入文件‘課程信息表.xlsx’:

table output

table output2?

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/161809.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/161809.shtml
英文地址,請注明出處:http://en.pswp.cn/news/161809.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

MATLAB算法實戰應用案例精講-【圖像處理】圖像縮放

目錄 前言 知識儲備 MATLAB圖像處理函數 數字數字圖像增強 數字數字圖像的變換

二級指針

*代表指針變量。int*為p的類型。故pp第一個*表示pp為指針int** pp,指向p的二級指針。 p中儲存a的地址,pp中儲存p的地址。 打印,printf中**pp的表示:pp中儲存的是p的地址,第一個*解引用地址p表示p的內容,p的…

Pickcode:教孩子們編碼的新視覺語言

Pickcode 通過視覺課程、聊天機器人、游戲和繪圖來教授編程。 Pickcode 是一種新的語言和編輯器,可以直觀地指導用戶編寫代碼來制作聊天機器人、動畫圖畫和游戲。Pickcode 旨在讓用戶在學習更高級的語言之前能夠充滿信心地開始學習編碼。 Pickcode 可視化編程語言…

回歸算法優化過程推導

假設存在一個數據集,包含工資、年齡及貸款額度三個維度的數據。我們需要根據這個數據集進行建模,從而在給定工資和年齡的情況下,實現對貸款額度的預測。其中,工資和年齡是模型構建時的兩個特征,額度是模型輸出的目標值…

被DDOS了怎么辦 要如何應對

DDoS攻擊的特點和類型 1. 特點 DDoS攻擊的特點是通過大量合法的請求或者無效的請求,消耗目標服務器的網絡帶寬和系統資源,使其無法正常運行。攻擊者通常使用多個主機發起攻擊,以達到更高的攻擊效果。 2. 常見類型 (1)S…

SPASS-ARIMA模型

基本概念 在預測中,對于平穩的時間序列,可用自回歸移動平均(AutoRegres- sive Moving Average, ARMA)模型及特殊情況的自回歸(AutoRegressive, AR)模型、移動平均(Moving Average, MA)模型等來擬合,預測該時間序列的未來值,但在實際的經濟預測中,隨機數據序列往往…

macos端文件夾快速訪問工具 Default Folder X 最新for mac

Default Folder X 是一款實用的工具,提供了許多增強功能和快捷方式,使用戶能夠更高效地瀏覽和管理文件。它的快速導航、增強的文件對話框、自定義設置和快捷鍵等功能,可以大大提升用戶的工作效率和文件管理體驗。 快速導航和訪問:…

Java開發中常用的工具類方法

一、JDK自帶工具包 (java.lang*.java.util.*等) 面是Java中jdk中附帶的一些常見工具類及其方法和示例的簡介 工具類 / 類所在包 常用方法 描述 示例 Arrays (java.util) sort() 對數組進行排序 Arrays.sort(arr); binarySearch() 在數組中執行…

S3的概念和使用

工作需要測試數據庫從 S3(Simple Storage Service)導入數據文件,公司有私有S3環境。 S3是一種對象存儲,數據模型很簡單,就是key-value,key就是一個任意字符串,value是一個文件。 S3的功能就是…

chromium證書校驗流程SM2WithSM3(C++源碼說明)

文章目錄 一、證書鏈二、證書鏈校驗過程三、證書鏈簽名校驗圖解四、C++源碼4.1 編譯TASSL4.2 代碼一,直接讀取簽名值方法4.3 代碼二(推薦)4.3.1 獲取證書的簽名數據4.3.2 獲取證書的簽名值4.3.3 從證書中獲取公鑰4.3.4 完整代碼4.3.5 代碼地址五、補充說明5.1 SM2的Z值算法以…

2023亞太杯數學建模B題思路分析 - 玻璃溫室中的微氣候法規

1 賽題 問題B 玻璃溫室中的微氣候法規 溫室作物的產量受到各種氣候因素的影響,包括溫度、濕度和風速[1]。其中,適 宜的溫度和風速是植物生長[2]的關鍵。為了調節玻璃溫室內的溫度、風速等氣候因素 , 溫室的設計通常采用帶有溫室風扇的通風系統&#xf…

《數學之美》第三版的讀書筆記一、主要是馬爾可夫假設、隱馬爾可夫模型、圖論深度/廣度、PageRank相關算法、TF-IDF詞頻算法

1、馬爾可夫假設 從19世紀到20世紀初,俄國有個數學家叫馬爾可夫他提出了一種方法,假設任意一個詞出現的概率只同它前面的詞有關。這種假設在數學上稱為馬爾可夫假設。 2、二元組的相對頻度 利用條件概率的公式,某個句子出現的概率等于每一個詞出現的條件概率相乘,于是可展…

【計算機網絡筆記】路由算法之層次路由

系列文章目錄 什么是計算機網絡? 什么是網絡協議? 計算機網絡的結構 數據交換之電路交換 數據交換之報文交換和分組交換 分組交換 vs 電路交換 計算機網絡性能(1)——速率、帶寬、延遲 計算機網絡性能(2)…

STM32_5(中斷)

中斷系統 中斷:在主程序運行過程中,出現了特定的中斷觸發條件(中斷源),使得CPU暫停當前正在運行的程序,轉而去處理中斷程序,處理完成后又返回原來被暫停的位置繼續運行中斷優先級:當…

如何用java的虛擬線程連接數據庫

我覺得這個很簡單 首先確保你idea支持jdk21. 然后把idea編譯成的目標字節碼設置為21版本的 然后編寫代碼。 創建虛擬線程的方式有: Runnable runnable () -> {System.out.println("Hello, world!"); };// 創建虛擬線程 Thread virtualThread Thre…

從0開始學習JavaScript--JavaScript迭代器

JavaScript迭代器(Iterator)是一種強大的編程工具,它提供了一種統一的方式來遍歷不同數據結構中的元素。本文將深入探討JavaScript迭代器的基本概念、用法,并通過豐富的示例代碼展示其在實際應用中的靈活性和強大功能。 迭代器的…

【計算思維】藍橋杯STEMA 科技素養考試真題及解析 2

1、蘭蘭有一些數字卡片,從 1 到 100 的數字都有,她拿出幾張數字卡片按照一定順序擺放。想一想,第 5 張卡片應該是 A、11 B、12 C、13 D、14 答案:C 2、按照下圖的規律,陰影部分應該填 A、 B、 C、 D、 答案&am…

spark如何配置checkpoint

1、sparkSession配置checkpoint的方法 # step1: 在conf中添加checkpoint的保存地址 val spark SparkSession.builder.appName(JobRegister.getJobName("xxx", s"xxxx")).config("hive.exec.dynamic.partition", "true").config(&quo…

2023亞太杯數學建模競賽(亞太賽)選題建議+初步分析

如下為C君的2023亞太杯數學建模競賽&#xff08;亞太賽&#xff09;選題建議初步分析&#xff1a; 提示&#xff1a;DS C君認為的難度&#xff1a;C<A<B&#xff0c;開放度&#xff1a;A<B<C。 以下為ABC題選題建議及初步分析&#xff1a; A題&#xff1a;Image…

openssl+ SM2 + linux 簽名校驗開發實例(C++)

文章目錄 一、SM2校驗理論基礎二、SM2簽名校驗開發實例&#xff08;C&#xff09; 一、SM2校驗理論基礎 SM2的校驗過程是使用橢圓曲線上的公鑰驗證簽名的有效性。以下是SM2校驗的理論基礎相關知識點&#xff1a; SM2簽名算法&#xff1a; SM2的校驗基于橢圓曲線數字簽名算法&a…