在VMware虛擬機集群中，完成Hive的安裝部署

Hive是分布式運行的框架還是單機運行的？

Hive是單機工具，只需要部署在一臺服務器即可。

Hive雖然是單機的，但是它可以提交分布式運行的MapReduce程序運行。

我們知道Hive是單機工具后，就需要準備一臺服務器供Hive使用即可。

同時Hive需要使用元數據服務，即需要提供一個關系型數據庫，我們也選擇一臺服務器安裝關系型數據庫即可。

所以：

服務

機器

Hive本體

部署在node1

元數據服務所需的關系型數據庫（課程選擇最為流行的MySQL）

部署在node1

為了簡單起見，都安裝到node1服務器上。

一、安裝MySQL數據庫

我們在node1節點使用yum在線安裝MySQL5.7版本。

CentOS 7 已于 2024 年 6 月 30 日結束生命周期，官方鏡像源（mirrorlist.centos.org）已關閉，因此無法解析域名。

解決方案

1、備份現有 Yum 配置：

sudo mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

2、創建新的 Yum 配置文件：

sudo nano /etc/yum.repos.d/CentOS-Base.repo

3、將以下內容復制到文件中（使用阿里云鏡像源）：

[base]
name=CentOS-$releasever - Base - mirrors.aliyun.com
failovermethod=priority
baseurl=https://mirrors.aliyun.com/centos/$releasever/os/$basearch/
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7#released updates
[updates]
name=CentOS-$releasever - Updates - mirrors.aliyun.com
failovermethod=priority
baseurl=https://mirrors.aliyun.com/centos/$releasever/updates/$basearch/
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7#additional packages that may be useful
[extras]
name=CentOS-$releasever - Extras - mirrors.aliyun.com
failovermethod=priority
baseurl=https://mirrors.aliyun.com/centos/$releasever/extras/$basearch/
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7#additional packages that extend functionality of existing packages
[centosplus]
name=CentOS-$releasever - Plus - mirrors.aliyun.com
failovermethod=priority
baseurl=https://mirrors.aliyun.com/centos/$releasever/centosplus/$basearch/
gpgcheck=1
enabled=0
gpgkey=https://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

4、清理 Yum 緩存并重新生成：

sudo yum clean all
sudo yum makecache

5、更新系統：

sudo yum update

接下來就可以執行如下指令進行下載安裝mysql了

# 更新密鑰
rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022# 安裝Mysql yum庫
rpm -Uvh http://repo.mysql.com//mysql57-community-release-el7-7.noarch.rpm# yum安裝Mysql
yum -y install mysql-community-server# 啟動Mysql設置開機啟動
systemctl start mysqld
systemctl enable mysqld# 檢查Mysql服務狀態
systemctl status mysqld# 第一次啟動mysql，會在日志文件中生成root用戶的一個隨機密碼，使用下面命令查看該密碼
grep 'temporary password' /var/log/mysqld.log# 修改root用戶密碼
mysql -u root -p -h localhost
Enter password:mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'Root!@#$';# 如果你想設置簡單密碼，需要降低Mysql的密碼安全級別
set global validate_password_policy=LOW; # 密碼安全級別低
set global validate_password_length=4;	 # 密碼長度最低4位即可# 然后就可以用簡單密碼了（課程中使用簡單密碼，為了方便，生產中不要這樣）
ALTER USER 'root'@'localhost' IDENTIFIED BY 'root';/usr/bin/mysqladmin -u root password 'root'grant all privileges on *.* to root@"%" identified by 'root' with grant option;  
flush privileges;

二、配置Hadoop

Hive的運行依賴于Hadoop（HDFS、MapReduce、YARN都依賴）

同時涉及到HDFS文件系統的訪問，所以需要配置Hadoop的代理用戶

即設置hadoop用戶允許代理（模擬）其它用戶

配置如下內容在Hadoop的core-site.xml文件中，并分發到其它節點，且重啟HDFS集群

# 編輯
vim core-site.xml# 修改core-site.xml文件
<property><name>hadoop.proxyuser.hadoop.hosts</name><value>*</value>
</property>
<property><name>hadoop.proxyuser.hadoop.groups</name><value>*</value>
</property>

三、下載解壓Hive

切換到hadoop用戶

su - hadoop

下載Hive安裝包路徑：
http://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz

或者從網盤資料中獲取安裝包：鏈接: https://pan.baidu.com/s/1vTQWQLmZ8JHUqs5Us5FcFQ?pwd=zgzs 提取碼: zgzs?

解壓到node1服務器的：/export/server/內

tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /export/server/

設置軟連接

ln -s /export/server/apache-hive-3.1.3-bin /export/server/hive

四、提供MySQL Driver包

下載MySQL驅動包：

https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.34/mysql-connector-java-5.1.34.jar

或者從上述網盤資料中獲取安裝包

將下載好的驅動jar包，放入：Hive安裝文件夾的lib目錄內

mv mysql-connector-java-5.1.34.jar /export/server/hive/lib/

五、配置Hive

在Hive的conf目錄內，新建hive-env.sh文件

# 在Hive的conf目錄內，新建hive-env.sh文件
vim hive-env.sh# 填入以下環境變量內容
export HADOOP_HOME=/export/server/hadoop
export HIVE_CONF_DIR=/export/server/hive/conf
export HIVE_AUX_JARS_PATH=/export/server/hive/lib

在Hive的conf目錄內，新建hive-site.xml文件

# 在Hive的conf目錄內，新建hive-site.xml文件
vim hive-site.xml# 填入以下內容
<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://node1:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value></property><property><name>hive.server2.thrift.bind.host</name><value>node1</value></property><property><name>hive.metastore.uris</name><value>thrift://node1:9083</value></property><property><name>hive.metastore.event.db.notification.api.auth</name><value>false</value></property>
</configuration>

六、初始化元數據庫

至此，Hive的配置已經完成，現在在啟動Hive前，需要先初始化Hive所需的元數據庫。
在MySQL中新建數據庫：hive

CREATE DATABASE hive CHARSET UTF8;

執行元數據庫初始化命令：

cd /export/server/hivebin/schematool -initSchema -dbType mysql -verbos

# 初始化成功后，會在MySQL的hive庫中新建74張元數據管理的表。

七、啟動Hive（使用Hadoop用戶）

確保Hive文件夾所屬為hadoop用戶

創建一個hive的日志文件夾：?

mkdir /export/server/hive/logs

啟動元數據管理服務（必須啟動，否則無法工作）
????????前臺啟動：

bin/hive --service metastore?

? ? ? ? 或者后臺啟動：

nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &

啟動客戶端，二選一
????????Hive Shell方式（可以直接寫SQL）： 

bin/hive

????????Hive ThriftServer方式（不可直接寫SQL，需要外部客戶端鏈接使用）： 

bin/hive --service hiveserver2

八、補充：HiveServer2服務

在啟動Hive的時候，除了必備的Metastore服務外，我們前面提過有2種方式使用Hive：
方式1： bin/hive 即Hive的Shell客戶端，可以直接寫SQL
方式2： bin/hive --service hiveserver2
后臺執行腳本：

nohup bin/hive --service hiveserver2 >> logs/hiveserver2.log 2>&1 &

bin/hive --service metastore，啟動的是元數據管理服務
bin/hive --service hiveserver2，啟動的是HiveServer2服務
HiveServer2是Hive內置的一個ThriftServer服務，提供Thrift端口供其它客戶端鏈接
可以連接ThriftServer的客戶端有：
Hive內置的 beeline客戶端工具（命令行工具）
第三方的圖形化SQL工具，如DataGrip、DBeaver、Navicat等

Hive的客戶端體系如下

啟動

在hive安裝的服務器上，首先啟動metastore服務，然后啟動hiveserver2服務。

#先啟動metastore服務 然后啟動hiveserver2服務
nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &
nohup bin/hive --service hiveserver2 >> logs/hiveserver2.log 2>&1 &

beeline

在node1上使用beeline客戶端進行連接訪問。需要注意hiveserver2服務啟動之后需要稍等一會才可以對外提供服務。
Beeline是JDBC的客戶端，通過JDBC協議和Hiveserver2服務進行通信，協議的地址是：jdbc:hive2://node1:10000

[root@node1 ~]# /export/server/hive/bin/beeline 
Beeline version 3.1.2 by Apache Hive
beeline> ! connect jdbc:hive2://node1:10000
Connecting to jdbc:hive2://node1:10000
Enter username for jdbc:hive2://node1:10000: root
Enter password for jdbc:hive2://node1:10000: 
Connected to: Apache Hive (version 3.1.2)
Driver: Hive JDBC (version 3.1.2)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://node1:10000>

后續可以在beeline中進行數據庫相關操作了。

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/pingmian/84972.shtml
繁體地址，請注明出處：http://hk.pswp.cn/pingmian/84972.shtml
英文地址，請注明出處：http://en.pswp.cn/pingmian/84972.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

Linux運維新人自用筆記（部署 ??LAMP：Linux + Apache + MySQL + PHP、部署discuz論壇）

Linux運維新人自用筆記（部署 ??LAMP：Linux + Apache + MySQL + PHP、部署discuz論壇）

內容全為個人理解和自查資料梳理&#xff0c;歡迎各位大神指點&#xff01; 每天學習較為零散。 day19 簡單搭建網站 下載apache服務 #下載阿帕奇服務 [rootxun ~]# yum install httpd -y#關閉防火墻 [rootxun ~]# iptables -F#啟動服務 [rootxun ~]# systemctl start http…
閱讀更多...
Kubernetes架構解析

Kubernetes架構解析

Kubernetes 技術棧的深度解析&#xff0c;涵蓋架構設計、核心組件、生態工具及二次開發實踐&#xff0c;結合實戰案例說明其內在關聯&#xff1a; 一、Kubernetes 架構設計 核心分層模型 #mermaid-svg-CnFwJbuzaABZpTBr {font-family:"trebuchet ms",verdana,arial…
閱讀更多...
langchain4j整合springboot

langchain4j整合springboot

langchain4j整合springboot 1.搭建項目架子配置文件Controller測試測試結果![在這里插入圖片描述](https://i-blog.csdnimg.cn/direct/35b8bd04f3034bd990861f065bc73d2f.png) 1.搭建項目架子 配置文件 參考官網配置引入 <?xml version"1.0" encoding"UTF…
閱讀更多...
408第一季 - 數據結構 - 平衡二叉樹

408第一季 - 數據結構 - 平衡二叉樹

平衡二叉樹 定義 縮寫記一下 AVL 還有下面這些&#xff0c;can you try&#xff1f; 平衡二叉樹的插入 LL平衡旋轉&#xff08;右單旋轉&#xff09; 怎么理解&#xff1f; 首先我們可以看見啊&#xff0c;b圖A左邊和右邊的不平衡的&#xff0c;非常的難受 于是我們可以這…
閱讀更多...
軟件測試 第二講 需求和設計評審

軟件測試 第二講 需求和設計評審

評審
閱讀更多...
VR 地震安全演練：“透視” 地震，筑牢企業安全新護盾?

VR 地震安全演練：“透視” 地震，筑牢企業安全新護盾?

與傳統的地震安全教育方式相比&#xff0c;VR 地震安全技術具有無可比擬的優勢。在過去漫長的歲月里&#xff0c;我們主要依賴書本、講座和視頻等較為常規的手段來了解地震知識和逃生技巧。? 書本上密密麻麻的文字以及靜態的圖片&#xff0c;雖然能夠較為系統地傳遞理論性的信…
閱讀更多...
30-Oracle 23ai-回顧從前的Flashback設置

30-Oracle 23ai-回顧從前的Flashback設置

配置和測試了Oracle 23 ai的Flashback Log Placement后&#xff0c; 剛好身邊11g,19c的環境都在&#xff0c;還是把從前的flashback整理下&#xff0c;溫故知新&#xff0c;循序漸進。 一、閃回技術 Flashback Database 允許將整個數據庫回退到過去的某個時間點/SCN&#xff…
閱讀更多...
Gartner《Reference Architecture for Federated Analytics》學習心得

Gartner《Reference Architecture for Federated Analytics》學習心得

研究背景 隨著分析平臺越來越易于被廣泛用戶使用，以及組織內用例的不斷增多和多樣化，分析架構的去中心化給專注于架構的分析專家帶來了混亂。組織在交付一致、可復用和可信的分析方面面臨挑戰，分布式分析架構需要在控制和敏捷之間取得平衡，然而許多組織在這方面的控制力不…
閱讀更多...
Windows下Docker一鍵部署Dify教程

Windows下Docker一鍵部署Dify教程

Windows環境下Docker部署Dify完整指南 &#x1f4cb; 目錄 系統要求Docker安裝驗證Docker安裝Dify部署訪問Dify常見問題管理命令 &#x1f5a5;? 系統要求 在開始安裝之前&#xff0c;請確保你的Windows系統滿足以下要求&#xff1a; 硬件要求 CPU: > 2核心內存: >…
閱讀更多...
idea maven打包很慢，怎么提速-多線程

idea maven打包很慢，怎么提速-多線程

作為一個技術運維人員&#xff0c;經常要更新程序然后重新打包發布jar包。由于程序子模塊多&#xff0c;需要相互引用每次打包的時候都需要很久&#xff0c;怎么可以讓打包快一點呢&#xff1f;可以啟動打包的多線程。請參照下圖設置&#xff0c;線程數量應該和cpu內核數量要能…
閱讀更多...
Java/Kotlin selenium 無頭瀏覽器 [Headless Chrome] 實現長截圖 三種方式

Java/Kotlin selenium 無頭瀏覽器 [Headless Chrome] 實現長截圖 三種方式

在自動化測試和網頁抓取中&#xff0c;完整捕獲整個頁面內容是常見需求。傳統截圖只能捕獲當前視窗內容&#xff0c;無法獲取超出可視區域的頁面部分。長截圖技術通過截取整個滾動頁面解決了這個問題&#xff0c;特別適用于&#xff1a; 保存完整網頁存檔生成頁面可視化報告驗…
閱讀更多...
【AI大模型】Elasticsearch9 + 通義大模型實現語義檢索操作詳解

【AI大模型】Elasticsearch9 + 通義大模型實現語義檢索操作詳解

目錄 一、前言 二、Elasticsearch9 語義檢索介紹 2.1 ES9 語義檢索核心特性 2.2 semantic_text 字段類型說明 2.3 ES9 語義檢索原理 2.4 ES9 語義檢索優勢與使用場景 三、 Elasticsearch9 搭建過程 3.1 環境說明 3.2 部署方式一 3.2.1 創建docker網絡 3.2.2 獲取es9鏡…
閱讀更多...
linux開機原理以及如何開關機-linux023

linux開機原理以及如何開關機-linux023

linux開機原理以及如何開關機 Linux 系統啟動過程概述 階段描述內核引導啟動時&#xff0c;BIOS執行自檢&#xff0c;啟動設備通常是硬盤。操作系統接管硬件后&#xff0c;讀取/boot目錄下的內核文件。運行 initinit是系統所有進程的起點&#xff0c;負責啟動其他進程。它讀取…
閱讀更多...
使用 socat 和 xinetd 將程序綁定到端口運行

使用 socat 和 xinetd 將程序綁定到端口運行

在現代網絡應用開發和系統管理中&#xff0c;經常需要將某些程序或腳本綁定到特定的網絡端口上&#xff0c;以實現遠程訪問或服務化。例如&#xff0c;一個簡單的 Python 腳本可能需要通過 TCP 端口提供服務&#xff0c;或者一個命令行工具需要通過網絡接口暴露其功能。為了實現…
閱讀更多...
電阻篇---上拉電阻

電阻篇---上拉電阻

一、上拉電阻的定義與本質 定義&#xff1a;上拉電阻是一端連接到電源&#xff08;VCC&#xff09;&#xff0c;另一端連接到電路節點的電阻元件&#xff0c;其核心作用是將該節點的電平 “拉” 至電源電壓&#xff0c;使其在無信號輸入時保持穩定的高電平狀態。 本質原理&…
閱讀更多...
前端持續集成和持續部署簡介

前端持續集成和持續部署簡介

持續集成&#xff08;CI&#xff09;&#xff1a;代碼提交后自動觸發構建、靜態檢查、單元測試&#xff0c;確保代碼質量。 持續部署&#xff08;CD&#xff09;&#xff1a;通過流水線將測試通過的代碼自動發布到測試/生產環境&#xff0c;減少人工操作失誤。 CI/CD 工具鏈 …
閱讀更多...
Elasticsearch高效文章搜索實踐

Elasticsearch高效文章搜索實踐

功能 創建索引和映射 使用postman添加映射和查詢 查詢所有的文章信息&#xff0c;批量導入到es索引庫中 server:port: 9999 spring:application:name: es-articledatasource:driver-class-name: com.mysql.jdbc.Driverurl: jdbc:mysql://localhost:3306/leadnews_article?useU…
閱讀更多...
React 中除了react-router還有哪些路由方案

React 中除了react-router還有哪些路由方案

在用React開發時&#xff0c;常用的路由是react-router &#xff0c;但除此之外&#xff0c;還有兩個路由方案&#xff0c;因為他們具備 react-router 沒有的特性。 1. tanstack/router 1.1. 主要特性 100% 推斷的 TypeScript 支持 類型安全的導航 嵌套路由和布局路由 內置…
閱讀更多...
VINS-Fusion 簡介、安裝、編譯、數據集/相機實測

VINS-Fusion 簡介、安裝、編譯、數據集/相機實測

目錄 VINS-Fusion 簡介 安裝 VINS-Fusion 源碼安裝 運行數據集 雙目模式 單目IMU 模式 雙目IMU 模式 D455 相機實際運行 雙目IMU 模式 VINS-Fusion 簡介 VINS-Fusion 是繼 VINS-Mono 和 VINS-Mobile&#xff08;單目視覺慣導 SLAM 方案&#xff09;后&#xff0c;香港科 技大學…
閱讀更多...
SQL Developer 表復制

SQL Developer 表復制

SQL Developer 表復制 此方法在數據量比較大時&#xff0c;比一條一條的insert要快得多&#xff1b;具體是會覆蓋掉原數據&#xff0c;還是增量的處理&#xff0c;請自行創建demo表測試一下。 注意&#xff1a;原庫版本要與目標庫數據庫版本一致&#xff0c;否則可能會報錯的。…
閱讀更多...
最新文章

Copyright @ 2022~2023