CDH部署Hive詳細指南
本文將詳細介紹如何使用Cloudera Manager Web界面部署Hive組件,包括安裝、配置、優化和運維管理等內容。
1. 環境準備
1.1 系統要求
1.1.1 硬件要求
-
服務器配置
- CPU:建議8核以上
- 內存:建議32GB以上
- 磁盤:建議使用企業級SAS或SSD
- 網絡:建議萬兆網絡
-
集群規模
- 小型集群:3-5節點
- 中型集群:6-20節點
- 大型集群:20節點以上
1.1.2 軟件要求
-
操作系統
- CentOS 7.x
- RHEL 7.x
- Ubuntu 16.04/18.04
- 建議使用64位系統
-
依賴服務
- HDFS(已安裝)
- ZooKeeper(已安裝)
- MySQL(用于存儲元數據)
- JDK 8
1.2 數據庫準備
1.2.1 MySQL配置
-
安裝MySQL
- 安裝MySQL服務器
- 配置MySQL服務
- 設置root密碼
- 配置遠程訪問
-
創建數據庫
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT