一百五十二、Kettle——Kettle9.3.0本地連接Hive3.1.2(踩坑,親測有效,附截圖)

一、目的

由于先前使用的kettle8.2版本在Linux上安裝后,創建共享資源庫點擊connect時頁面為空,后來采用如下方法,在/opt/install/data-integration/ui/menubar.xul文件里添加如下代碼

<menuitem id="file-openZiyuanku" label="openZiyuanku" command="spoon.openRepository()"/>

共享資源庫創建后又遇到任務Save時為空的問題。

首先,在Windows本地安裝的kettle8.2,無論有沒有連接共享資源庫,kettle任務都可以正常執行;

其次,在Linux上安裝的kettle8.2啟動后,

如果不連接共享資源庫,那么kettle任務可以正常運行,沒有問題。

只有在連接共享資源庫后,kettle任務才無法保存,save頁面為空,如下圖所示

?所以,這可能是kettle8.2與Linux的版本匹配問題,因此換成最新的版本kettle9.3嘗試一下

二、版本說明

(一)kettle9.3.0? ?

kettle9.3.0安裝包網盤鏈接

鏈接:https://pan.baidu.com/s/1MS8QBhv9ukpqlVQKEMMHQA?pwd=dqm0?
提取碼:dqm0

(二)Hive3.1.2?

(三)Hadoop3.1.3

三、前提準備

(一)安裝前提:掌握Kettle8.2.0本地連接Hive3.1.2

因為我之前一直用的是kettle8.2,所以kettle9.3連接hive3.1.2時我就直接從kettle8.2的文件夾復制jar包

至于kettle8.2如何本地安裝后連接hive,詳情請參考鄙人拙作

http://t.csdn.cn/qyuDjhttp://t.csdn.cn/qyuDj

(二)Windows本地解壓即安裝Kettle9.3.0

(三)注意Kettle9.3里MySQL驅動包的版本以及Hive312里MySQL驅動包的版本

1、Hive312的lib里面MySQL驅動包的版本是mysql-connector-java-5.1.37.jar

2、Kettle9.3里MySQL驅動包的版本

mysql-connector-java-5.1.37.jar? ? ? ?;? ?mysql-connector-java-8.0.30.jar

?四、安裝步驟

(一)根據Hadoop版本在選擇對應的文件(千萬不要隨便選!)

1、文件路徑

D:\java\kettle\pdi-ce-9.3.0.0-428\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations

?2、Hadoop版本與文件夾對應規則?

3、選擇文件,復制文件名(Hadoop版本與文件夾一定要匹配!

因為我的Hadoop版本是Hadoop3.1.3,所以我選擇的文件夾是hdp30

注意:kettle9.3的hdp30文件夾里最初只有hdp30\lib\pmr這一個文件夾,與kettle8.2里的hdp30文件夾最初狀況大不相同,這也是困擾我許久的原因

(二)修改kettle里pentaho-big-data-plugin文件夾里的源文件plugin.properties

文件路徑:D:\java\kettle\pdi-ce-9.3.0.0-428\data-integration\plugins\pentaho-big-data-plugin

??只要設置? ? ? ?active.hadoop.configuration=hdp30

(三)根據kettle8.2的hdp30文件夾,把kettle9.3的hdp30文件夾相比而言缺少的部分復制過去

1、第一部分

把kettle8.2的hdp30文件夾里原先的hive、Hadoop的5個配置文件(Hbase文件非必需

如果項目中kettle的使用過程需要用到Hbase則加上hbase-site.xml文件,如果沒用到則不需要

?復制到kettle9.3的hdp30文件夾

2、第二部分?

把kettle8.2的hdp30\lib文件夾里除了pmr和client兩個所有jar包

?復制到kettle9.3的hdp30\lib文件夾

2023年8月16日續寫

注意:經測試,其實還是只需要hive中hive開頭的jar包以及hadoop-common-3.1.3.jar

修改后的kettle9.3的hdp30\lib如下

?

?3、第三部分(與kettle8.2不同之處

把hive的安裝路徑hive312/jdbc里的驅動包

復制到 kettle9.3的data-integration\lib文件下

文件路徑:D:\java\kettle\pdi-ce-9.3.0.0-428\data-integration\lib

(四)啟動Hadoop和Hive服務,打開kettle9.3,連接Hive數據庫

kettle9.3連接hive312,連接成功!

?(五)執行從Hive到ClickHouse的kettle任務,測試一下

kettle任務運行成功!

(六)注意kettle里的中文亂碼問題?

解決措施:修改kettle9.3\data-integration里的文件Spoon.bat

文件路徑:D:\java\kettle\pdi-ce-9.3.0.0-428\data-integration

注意:Kettle9.3的Spoon.bat文件原有的只是

if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms1024m" "-Xmx2048m"?

然后在它后面加上?"-XX:MaxPermSize=256m" "-Dfile.encoding=UTF-8"

其中, "-XX:MaxPermSize=256m"是kettle8.2默認有的堆內存最大值設置;而"-Dfile.encoding=UTF-8"才是解決中文亂碼的,但我這邊把兩個都加上

到這里,Kettle9.3.0本地連接Hive3.1.2就結束了!

我之前查了好多博文,都沒找到Kettle9.3.0如何連接Hive3.1.2,困擾許久,終于一朝解決,整理此博文,公諸于眾,希望能夠幫助和我受到一樣困擾的你!

樂于奉獻共享,幫助你我他!!!

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/39818.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/39818.shtml
英文地址,請注明出處:http://en.pswp.cn/news/39818.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

音視頻學習-音視頻基礎

文章目錄 一、 音視頻錄制原理二、音視頻播放原理三、圖像基礎概念1.像素2.分辨率3.位深4.幀率5.碼率6.Stride跨距 四、RGB、YUV1.RGB2.YUV1. 4:4:4格式2. 4:2:2格式3. 4:2:0格式4. 4:2:0數據格式對比 3.RGB和YUV的轉換4.YUV Stride對齊問題 五、視頻的主要概念1.基本概念2.I P…

數據結構:棧和隊列(超詳細)

目錄 ?編輯 棧&#xff1a; 棧的概念及結構&#xff1a; 棧的實現&#xff1a; 隊列&#xff1a; 隊列的概念及結構&#xff1a; 隊列的實現&#xff1a; 擴展知識&#xff1a; 以上就是個人學習線性表的個人見解和學習的解析&#xff0c;歡迎各位大佬在評論區探討&#…

PHP substr()函數詳解,PHP截取字符串。

「作者主頁」&#xff1a;士別三日wyx 「作者簡介」&#xff1a;CSDN top100、阿里云博客專家、華為云享專家、網絡安全領域優質創作者 「推薦專欄」&#xff1a;對網絡安全感興趣的小伙伴可以關注專欄《網絡安全入門到精通》 substr 一、截取字符串二、截取中文字符串三、leng…

clickhouse集群部署

一、集群部署簡介 部署的詳情可以看官網 先部署兩個server,三個keeper[zookeeper] clickhouse之前依賴的存儲是zookeeper,后來改為了keeper,官網給出了原因 所以這就決定了clickhouse有兩種安裝方式&#xff0c;依賴于keeper做存儲或者依賴于zookeeper做存儲 二、zookeeper作…

注冊中心 —— SpringCloud Netflix Eureka

Eureka 簡介 Eureka 是一個基于 REST 的服務發現組件&#xff0c;SpringCloud 將它集成在其子項目 spring-cloud-netflix 中&#xff0c;以實現 SpringCloud 的服務注冊與發現&#xff0c;同時提供了負載均衡、故障轉移等能力&#xff0c;目前 Eureka2.0 已經不再維護&#xf…

基于YOLOv8模型和Caltech數據集的行人檢測系統(PyTorch+Pyside6+YOLOv8模型)

摘要 基于YOLOv8模型和Caltech數據集的行人檢測系統可用于日常生活中檢測與定位行人&#xff0c;利用深度學習算法可實現圖片、視頻、攝像頭等方式的行人目標檢測&#xff0c;另外本系統還支持圖片、視頻等格式的結果可視化與結果導出。本系統采用YOLOv8目標檢測算法訓練數據集…

C#使用FileInfo和DirectoryInfo類來執行文件和文件夾操作

System.IO.FileInfo 和 System.IO.DirectoryInfo 是C#中用于操作文件和文件夾的類&#xff0c;它們提供了許多有用的方法和屬性來管理文件和文件夾。 System.IO.FileInfo&#xff1a; FileInfo 類用于操作單個文件的信息和內容。以下是一些常用的方法和屬性&#xff1a; Exi…

頻繁full gc 調參

Error message from spark is:java.lang.Exception: application_1678793738534_17900289 Driver Disassociated [akka.tcp://sparkDriverClient11.71.243.117:37931] <- [akka.tcp://sparkYarnSQLAM9.10.130.149:38513] disassociated! 日志里頻繁full gc &#xff0c;可以…

Python Opencv實踐 - 圖像金字塔

import cv2 as cv import numpy as np import matplotlib.pyplot as pltimg cv.imread("../SampleImages/pomeranian.png", cv.IMREAD_COLOR) print(img.shape)#圖像上采樣 #cv.pyrUp(src, dstNone, dstsizeNone, borderTypeNone) #參考資料&#xff1a;https://blo…

js實現將文本轉PDF格式并下載到本地

html里面需要引入jspdf.umd.min.js和FileSaver.js jspdf.umd.min.js&#xff1a;https://www.npmjs.com/package/jspdf FileSaver.js&#xff1a;https://download.csdn.net/download/weixin_45791806/87272893?spm1001.2014.3001.5503 同時項目的根部目錄也需要引入SimHei.tt…

單片機之從C語言基礎到專家編程 - 4 C語言基礎 - 4.7 進制及其轉換

進制是數字的進位計數制&#xff0c;R進制也就是逢R進一。計算機只能識別二進制&#xff0c;也就是逢二進一&#xff0c;例如&#xff0c;11在十進制中為2&#xff0c;在二進制中逢2進1&#xff0c;則為10。以下為進制表示表。 二進制三進制八進制九進制十進制十六進制0000001…

【LeetCode 算法】Find the Losers of the Circular Game 找出轉圈游戲輸家

文章目錄 Find the Losers of the Circular Game 找出轉圈游戲輸家問題描述&#xff1a;分析代碼模擬 Tag Find the Losers of the Circular Game 找出轉圈游戲輸家 問題描述&#xff1a; n 個朋友在玩游戲。這些朋友坐成一個圈&#xff0c;按 順時針方向 從 1 到 n 編號。從…

AD域控制器將輔域控制器角色提升為主域控制器

背景 域控服務器遷移&#xff0c;已將新機器添加為該域的輔域控制器。 主域控制器&#xff1a;test-dc-01 輔域控制器&#xff1a;test-dc-02 需求將主輔域的角色進行互換&#xff0c;test-dc-01更換為輔域&#xff0c;test-dc-02更換為主域。 操作步驟 方法1 命令行修改AD域…

Datawhale Django入門組隊學習Task02

Task02 首先啟動虛擬環境&#xff08;復習一下之前的&#xff09; 先退出conda的&#xff0c; conda deactivate然后cd到我的venv下面 &#xff0c;然后cd 到 scripts&#xff0c;再 activate &#xff08;powershell里面&#xff09; 創建admin管理員 首先cd到項目路徑下&a…

mySQL 視圖 VIEW

簡化版的創建視圖 create view 視圖名 as select col ...coln from 表create view 視圖名&#xff08;依次別名&#xff09; as select col ...coln from 表create view 視圖名 as select col “別名1”&#xff0c;。。。col "別名n" from 表show tab…

Flink的常用算子以及實例

1.map 特性&#xff1a;接收一個數據&#xff0c;經過處理之后&#xff0c;就返回一個數據 1.1. 源碼分析 我們來看看map的源碼 map需要接收一個MapFunction<T,R>的對象&#xff0c;其中泛型T表示傳入的數據類型&#xff0c;R表示經過處理之后輸出的數據類型我們繼續往…

計算機提示vcruntime140_1.dll丟失的解決方法

在使用Windows操作系統時&#xff0c;有時候我們可能會遇到一些應用程序無法正常運行的問題&#xff0c;出現錯誤提示&#xff0c;其中之一可能就是缺少或損壞了vcruntime140_1.dll文件。在遇到這種情況時&#xff0c;我們可以嘗試修復vcruntime140_1.dll文件來解決問題。 先科…

后端 springboot 給 vue 提供參數

前端 /** 發起新增或修改的請求 */requestAddOrEdit(formData) {debuggerif(formData.id undefined) {formData.id }getAction(/material/getNameModelStandard, {standard: this.model.standard,name: this.model.name,model: this.model.model}).then((res) > {if (res …

《零基礎7天入門Arduino物聯網-06》程序基礎-編程語言是什么

配套視頻課程&#xff1a;《零基礎學Arduino物聯網&#xff0c;入門到進階》 配套課件資料獲取&#xff1a;微聯實驗室 配套學習套件購買&#xff1a;淘寶搜索店鋪【微聯實驗室】 程序基礎-編程語言是什么 程序是什么 程序設計可以理解為是用計算機語言創造出一系列指令的過程…