【spark源碼修改】hive3.1.3 spark3.5.4編譯，需要修改源碼，最終編譯成功

【spark源碼修改】hive3.1.3 spark3.5.4編譯，需要修改源碼，最終編譯成功

  • 1. 準備安裝包與maven編譯環境
    • 1.1 安裝環境準備
    • 1.2 修改pom
    • 1.3 打包命令
  • 2. 編譯與問題解決
    • 2.1 開始編譯 失敗， 缺包pentaho-aggdesigner-algorithm:pom:5.1.5-jhyde
    • 2.2 Hive Spark Remote Client 模塊編譯失敗，類找不到，原因是升級后，類不兼容
  • 3. 修改源碼
    • 3.1 源碼不兼容，源碼SparkCounter分析（附帶修改過程與結果，spark2,spark3源碼對比）
    • 3.2 修改代碼 SparkCounter
    • 3.3 修改代碼 ShuffleWriteMetrics
  • 4. 繼續編譯
    • 4.1 有一個test的類不兼容，直接刪掉就行，重新編譯
    • 4.2 Hive Llap Server 編譯失敗
    • 4.3 編譯完成
    • 4.4 編譯后的安裝包

1. 準備安裝包與maven編譯環境

1.1 安裝環境準備

安裝包到官網找， hive.apache.org, spark.apache.org
maven環境準備： 初始化只改了settings的ali源

1.2 修改pom

pom版本修改前：

    <spark.version>2.3.0</spark.version><scala.binary.version>2.11</scala.binary.version><scala.version>2.11.8</scala.version>

修改后：

    <spark.version>3.5.4</spark.version><scala.binary.version>2.13</scala.binary.version><scala.version>2.13.8</scala.version>

1.3 打包命令

mvn clean package -Pdist -DskipTests -Dmaven.javadoc.skip=true

2. 編譯與問題解決

2.1 開始編譯 失敗， 缺包pentaho-aggdesigner-algorithm:pom:5.1.5-jhyde

pentaho-aggdesigner-algorithm:pom:5.1.5-jhyde 找不到

Downloaded from central: https://repo.maven.apache.org/maven2/org/apache/hadoop/hadoop-mapreduce-client-core/2.7.2/hadoop-mapreduce-client-core-2.7.2.pom (3.5 kB at 12 kB/s)
Downloading from central: https://repo.maven.apache.org/maven2/org/apache/hadoop/hadoop-common/2.6.4/hadoop-common-2.6.4.pom
Downloaded from central: https://repo.maven.apache.org/maven2/org/apache/hadoop/hadoop-common/2.6.4/hadoop-common-2.6.4.pom (31 kB at 77 kB/s)
Downloading from central: https://repo.maven.apache.org/maven2/org/apache/hadoop/hadoop-project-dist/2.6.4/hadoop-project-dist-2.6.4.pom
Downloaded from central: https://repo.maven.apache.org/maven2/org/apache/hadoop/hadoop-project-dist/2.6.4/hadoop-project-dist-2.6.4.pom (18 kB at 48 kB/s)
Downloading from central: https://repo.maven.apache.org/maven2/org/apache/hadoop/hadoop-project/2.6.4/hadoop-project-2.6.4.pom
Downloaded from central: https://repo.maven.apache.org/maven2/org/apache/hadoop/hadoop-project/2.6.4/hadoop-project-2.6.4.pom (43 kB at 106 kB/s)
Downloading from central: https://repo.maven.apache.org/maven2/org/apache/hadoop/hadoop-main/2.6.4/hadoop-main-2.6.4.pom
Downloaded from central: https://repo.maven.apache.org/maven2/org/apache/hadoop/hadoop-main/2.6.4/hadoop-main-2.6.4.pom (18 kB at 47 kB/s)
Downloading from central: https://repo.maven.apache.org/maven2/org/apache/hadoop/hadoop-annotations/2.6.4/hadoop-annotations-2.6.4.pom
Downloaded from central: https://repo.maven.apache.org/maven2/org/apache/hadoop/hadoop-annotations/2.6.4/hadoop-annotations-2.6.4.pom (2.4 kB at 8.0 kB/s)
Downloading from central: https://repo.maven.apache.org/maven2/org/apache/hadoop/hadoop-auth/2.6.4/hadoop-auth-2.6.4.pom
Downloaded from central: https://repo.maven.apache.org/maven2/org/apache/hadoop/hadoop-auth/2.6.4/hadoop-auth-2.6.4.pom (7.7 kB at 20 kB/s)
Downloading from central: https://repo.maven.apache.org/maven2/org/apache/hive/hive-storage-api/2.2.1/hive-storage-api-2.2.1.pom
Downloaded from central: https://repo.maven.apache.org/maven2/org/apache/hive/hive-storage-api/2.2.1/hive-storage-api-2.2.1.pom (5.4 kB at 12 kB/s)
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary for Hive 3.1.3:
[INFO] 
[INFO] Hive Upgrade Acid .................................. FAILURE [02:30 min]
[INFO] Hive ............................................... SKIPPED
[INFO] Hive Classifications ............................... SKIPPED
[INFO] Hive Shims Common .................................. SKIPPED
[INFO] Hive Shims 0.23 .................................... SKIPPED
[INFO] Hive Shims Scheduler ............................... SKIPPED
[INFO] Hive Shims ......................................... SKIPPED
[INFO] Hive Common ........................................ SKIPPED
[INFO] Hive Service RPC ................................... SKIPPED
[INFO] Hive Serde ......................................... SKIPPED
[INFO] Hive Standalone Metastore .......................... SKIPPED
[INFO] Hive Metastore ..................................... SKIPPED
[INFO] Hive Vector-Code-Gen Utilities ..................... SKIPPED
[INFO] Hive Llap Common ................................... SKIPPED
[INFO] Hive Llap Client ................................... SKIPPED
[INFO] Hive Llap Tez ...................................... SKIPPED
[INFO] Hive Spark Remote Client ........................... SKIPPED
[INFO] Hive Query Language ................................ SKIPPED
[INFO] Hive Llap Server ................................... SKIPPED
[INFO] Hive Service ....................................... SKIPPED
[INFO] Hive Accumulo Handler .............................. SKIPPED
[INFO] Hive JDBC .......................................... SKIPPED
[INFO] Hive Beeline ....................................... SKIPPED
[INFO] Hive CLI ........................................... SKIPPED
[INFO] Hive Contrib ....................................... SKIPPED
[INFO] Hive Druid Handler ................................. SKIPPED
[INFO] Hive HBase Handler ................................. SKIPPED
[INFO] Hive JDBC Handler .................................. SKIPPED
[INFO] Hive HCatalog ...................................... SKIPPED
[INFO] Hive HCatalog Core ................................. SKIPPED
[INFO] Hive HCatalog Pig Adapter .......................... SKIPPED
[INFO] Hive HCatalog Server Extensions .................... SKIPPED
[INFO] Hive HCatalog Webhcat Java Client .................. SKIPPED
[INFO] Hive HCatalog Webhcat .............................. SKIPPED
[INFO] Hive HCatalog Streaming ............................ SKIPPED
[INFO] Hive HPL/SQL ....................................... SKIPPED
[INFO] Hive Streaming ..................................... SKIPPED
[INFO] Hive Llap External Client .......................... SKIPPED
[INFO] Hive Shims Aggregator .....................

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/web/65717.shtml
繁體地址，請注明出處：http://hk.pswp.cn/web/65717.shtml
英文地址，請注明出處：http://en.pswp.cn/web/65717.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

SQL-leetcode-584. 尋找用戶推薦人

SQL-leetcode-584. 尋找用戶推薦人

584. 尋找用戶推薦人 表: Customer -------------------- | Column Name | Type | -------------------- | id | int | | name | varchar | | referee_id | int | -------------------- 在 SQL 中&#xff0c;id 是該表的主鍵列。 該表的每一行表示一個客戶的 id、姓名以及推…
閱讀更多...
【數據庫】一、數據庫系統概述

【數據庫】一、數據庫系統概述

文章目錄 一、數據庫系統概述1 基本概念2 現實世界的信息化過程3 數據庫系統內部體系結構4 數據庫系統外部體系結構5 數據管理方式 一、數據庫系統概述 1 基本概念 數據&#xff1a;描述事物的符號記錄 數據庫&#xff08;DB&#xff09;&#xff1a;長期存儲在計算機內的、…
閱讀更多...
Scala語言的面向對象編程

Scala語言的面向對象編程

Scala語言的面向對象編程 面向對象編程&#xff08;Object-Oriented Programming&#xff0c;OOP&#xff09;是一種編程范式&#xff0c;它使用“對象”來組織代碼&#xff0c;這些對象能夠包含數據&#xff08;屬性&#xff09;以及功能&#xff08;方法&#xff09;。Scala…
閱讀更多...
【JVM-2.1】如何使用JMC監控工具：詳細步驟與實戰指南

【JVM-2.1】如何使用JMC監控工具：詳細步驟與實戰指南

Java Mission Control&#xff08;JMC&#xff09;是Oracle提供的一個高級圖形化監控工具&#xff0c;專為Java應用程序的性能分析和故障排查設計。JMC不僅提供了實時監控功能&#xff0c;還支持飛行記錄器&#xff08;Flight Recorder&#xff09;功能&#xff0c;能夠記錄JVM…
閱讀更多...
QT c++ 樣式 設置 標簽(QLabel)的漸變色美化

QT c++ 樣式 設置 標簽(QLabel)的漸變色美化

上一篇文章中描述了按鈕的純色&#xff0c;本文描述標簽的漸變色美化。 1.頭文件 #ifndef WIDGET_H #define WIDGET_H #include <QWidget> //#include "CustomButton.h"#include <QVBoxLayout> #include <QLinearGradient> #include <QLabel…
閱讀更多...
設計模式 行為型 觀察者模式（Observer Pattern）與 常見技術框架應用 解析

設計模式 行為型 觀察者模式（Observer Pattern）與 常見技術框架應用 解析

觀察者模式&#xff08;Observer Pattern&#xff09;是一種行為設計模式&#xff0c;它定義了一種一對多的依賴關系&#xff0c;讓多個觀察者對象同時監聽某一個主題對象。這個主題對象在狀態發生變化時&#xff0c;會通知所有觀察者對象&#xff0c;使它們能夠自動更新。 一…
閱讀更多...
03_Redis基本操作

03_Redis基本操作

1.Redis查詢命令 1.1 官網命查詢命令 為了便于學習Redis，官方將其用于操作不同數據類型的命令進行了分類整理。你可以通過訪問Redis官方網站上的命令參考頁面https://redis.io/commands來查閱這些分組的命令，這有助于更系統地理解和使用Redis的各項功能。 1.2 HELP查詢命令…
閱讀更多...
system securiry: supervisor password required

system securiry: supervisor password required

報錯解釋&#xff1a; 這個錯誤表明系統安全模塊&#xff08;如SELinux或AppArmor&#xff09;需要超級用戶&#xff08;通常是root&#xff09;的密碼來確認一個操作。這通常發生在嘗試進行某些需要高級權限的系統更改時。 解決方法&#xff1a; 如果你擁有root權限&#xff0…
閱讀更多...
Ubuntu 如何查看盤是機械盤還是固態盤

Ubuntu 如何查看盤是機械盤還是固態盤

在 Ubuntu 系統中&#xff0c;您可以通過以下方法來確定硬盤是機械硬盤&#xff08;HDD&#xff09;還是固態硬盤&#xff08;SSD&#xff09;&#xff1a; 使用 lsblk 命令&#xff1a; 打開終端&#xff0c;輸入以下命令&#xff1a; lsblk -d -o name,rota該命令將列出所…
閱讀更多...
探索式測試

探索式測試

探索式測試是一種軟件測試風格&#xff0c;它強調獨立測試人員的個人自由和職責&#xff0c;為了持續優化其工作的價值&#xff0c;將測試學習、測試設計、測試執行和測試結果分析作為相互支持的活動&#xff0c;在整個項目實現過程中并行地執行。 選擇合適的探索式測試方法我…
閱讀更多...
uniapp 微信小程序內嵌h5實時通信

uniapp 微信小程序內嵌h5實時通信

描述&#xff1a; 小程序webview內嵌的h5需要向小程序實時發送消息&#xff0c;有人說postMessage可以實現&#xff0c;所以試驗一下&#xff0c;結果是實現不了實時&#xff0c;只能在特定時機后退、組件銷毀、分享時小程序才能接收到信息&#xff08;小程序為了安全等考慮做了…
閱讀更多...
php 使用simplexml_load_string轉換xml數據格式失敗

php 使用simplexml_load_string轉換xml數據格式失敗

本文介紹如何使用php函數解析xml數據為數組。 <?php$a <xml><ToUserName><![CDATA[ww8b77afac71336111]]></ToUserName><FromUserName><![CDATA[sys]]></FromUserName><CreateTime>1736328669</CreateTime><Ms…
閱讀更多...
HOW - Form 表單 label 和 wrapper 對齊場景

HOW - Form 表單 label 和 wrapper 對齊場景

一、背景 在日常使用 表單 時&#xff0c;我們一般有如下布局&#xff1a; 可以通過 Form 表單提供的配置直接設置&#xff1a; <Formform{form}labelCol{{ span: 4 }}wrapperCol{{ span: 20 }}onFinish{handleSubmit}><Form.Itemlabel"輸入框"name"…
閱讀更多...
深入探索AI核心模型：CNN、RNN、GAN與Transformer

深入探索AI核心模型：CNN、RNN、GAN與Transformer

在人工智能的飛速發展中&#xff0c;眾多深度學習模型和算法不斷涌現&#xff0c;推動了許多領域的進步。特別是在圖像識別、自然語言處理、生成建模等方向&#xff0c;AI模型的應用越來越廣泛。本文將介紹幾種最常用的AI模型&#xff0c;包括卷積神經網絡&#xff08;CNN&…
閱讀更多...
櫻桃鍵盤win鍵按了沒反應怎么處理

櫻桃鍵盤win鍵按了沒反應怎么處理

?游戲模式?&#xff1a;部分櫻桃鍵盤在進入游戲模式后會禁用Win鍵&#xff0c;以防止在游戲過程中誤觸。可以通過按下Fn F9鍵來切換游戲模式和辦公模式&#xff0c;確保鍵盤處于辦公模式下&#xff0c;Win鍵即可恢復正常功能。? &#xff08;至此我的問題已解決&#xff0c…
閱讀更多...
解析若依 `R.java` 類——ruoyi-common-core

解析若依 `R.java` 類——ruoyi-common-core

文章目錄 1. 類的整體功能2. 代碼解析2.1 成員變量和常量2.2 靜態方法構造響應對象2.3 內部私有方法 restResult2.4 工具方法 3. 開發中的應用擴展3.1 接口規范化3.2 快速響應構造3.3 自定義狀態碼3.4 自定義擴展 R.java 是若依框架中通用的 API 響應封裝類&#xff0c;主要用于…
閱讀更多...
Perl語言的數據結構

Perl語言的數據結構

Perl語言的數據結構 Perl是一種功能強大的、靈活的腳本語言&#xff0c;廣泛用于文本處理、系統管理、網絡編程以及許多其他領域。其靈活性不僅體現在語法上&#xff0c;還體現在其豐富的數據結構上。本文將深入探討Perl的主要數據結構&#xff0c;包括標量、數組、哈希以及引…
閱讀更多...
RK3588上CPU和GPU算力以及opencv resize的性能對比測試

RK3588上CPU和GPU算力以及opencv resize的性能對比測試

RK3588上CPU和GPU算力以及opencv resize的性能對比測試 一.背景二.小結三.相關鏈接四.操作步驟1.環境搭建A.安裝依賴B.設置GPU為高性能模式C.獲取GPU信息D.獲取CPU信息 2.調用OpenCL SDK獲取GPU信息3.使用OpenCL API計算矩陣乘4.使用clpeak測試GPU的性能5.使用OpenBLAS測試CPU的…
閱讀更多...
轉運機器人在物流倉儲行業的優勢特點

轉運機器人在物流倉儲行業的優勢特點

在智能制造與智慧物流的浪潮中&#xff0c;一款革命性的產品正悄然改變著行業的面貌——富唯智能轉運機器人&#xff0c;它以卓越的智能科技與創新的設計理念&#xff0c;引領著物流領域步入一個全新的高效、智能、無人的時代。 一、解放雙手&#xff0c;重塑物流生態 富唯智能…
閱讀更多...
基于單片機的無線智能窗簾控制器的設計

基于單片機的無線智能窗簾控制器的設計

摘 要 : 本文以單片機為控制核心 , 基于 PT2262/ 2272 無線收發模塊 , 實現了窗簾的無線遠程智能控制 . 該控制器通過高頻無線收發模塊實現了遙控窗簾的開合控制; 根據外部光線強弱實現自動開關窗簾 ; 根據設定時間自動完成開關過程; 通過語音播報當前環境溫濕度信息以…
閱讀更多...
最新文章

Copyright @ 2022~2023