Hive2.1.1的安裝教程(元數據放在本地Mysql)

  • 目錄
    • 1.上傳tar包
    • 2.解壓
    • 3. 設置環境變量
    • 4.設置Hive的配置文件
    • 5.啟動Hive
    • 6.安裝MySQL
    • 7.下載MySQL的驅動包
    • 8.修改Hive的配置文件
    • 9.啟動Hive
    • 10.查看MySQL數據庫

目錄

1.上傳tar包

jar包地址:http://hive.apache.org/downloads.html

2.解壓

tar -zxvf apache-hive-2.1.1-bin.tar.gz -C /usr/local/ 

進入到/usr/local目錄下,將解壓后的文件重命名為hive-2.1.1

mv apache-hive-2.1.1-bin/ hive-2.1.1

3. 設置環境變量

export HIVE_HOME=/usr/local/hive-2.1.1
export PATH=$PATH:$HIVE_HOME/bin

使配置立即生效

source /etc/profile 

hive沒有提供hive –version這種方式查看版本,執行hive –help查看
這里寫圖片描述

4.設置Hive的配置文件

在目錄$HIVE_HOME/conf/下,執行命令
cp hive-log4j2.properties.template hive-log4j2.properties拷貝一份重命名 ,并修改property.hive.log.dir = /usr/local/hive-2.1.1/logs/
暫時只配置這些

5.啟動Hive

Hadoop集群要先啟動

Starting from Hive 2.1, we need to run the schematool command below as an initialization step. For example, we can use “derby” as db type.$ $HIVE_HOME/bin/schematool -dbType <db type> -initSchema

這是Hive的官方文檔上描述的,Hive2.1的啟動需要先執行schematool命令
由于Hive默認內嵌的是derby數據庫,先使用默認的數據庫運行
執行schematool -dbType derby -initSchema進行初始化

這里寫圖片描述
執行命令hive進入到Hive Shell操作
這里寫圖片描述
此時Hive安裝成功。
默認情況下,Hive的元數據保存在了內嵌的derby數據庫里,但一般情況下生產環境使用MySQL來存放Hive元數據。

6.安裝MySQL

參考:https://blog.csdn.net/qq_16633405/article/details/81872456

7.下載MySQL的驅動包

下載MySQL的驅動包放置到$HIVE_HOME/lib目錄下,本機使用的版本是mysql-connector-Java-5.1.36-bin.jar。

8.修改Hive的配置文件

在目錄$HIVE_HOME/conf/下,執行命令cp hive-default.xml.template hive-site.xml拷貝重命名
將hive-site.xml里面的property屬性配置全部刪除,Hive會加載默認配置。
添加如下內容(只需要將最后兩個屬性更改為你mysql的用戶名和對應的登錄密碼就OK了,其他全部照搬):

<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property><property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property><property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property><property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
<description>password to use against metastore database</description>
</property>
</configuration>

9.啟動Hive

Hadoop集群要先啟動

9.1 執行命令hive
出現不能實例化metadata的錯誤
這里寫圖片描述
以及MySQL連接被拒絕的錯誤
這里寫圖片描述
9.2 首先解決MySQL連接被拒絕問題

mysql -uroot -proot
grant all privileges on *.* to root@'spark' identified by 'root';
flush privileges;
exit;

這里寫圖片描述
*.*代表全部數據庫的全部表授權,也可以指定數據庫授權,如test_db.*;
all privileges代表全部權限,也可以insert,update,delete,create,drop等;
允許root用戶在spark(Linux系統的主機名,IP映射)進行遠程登陸,并設置root用戶的密碼為root。
flush privileges告訴服務器重新加載授權表。

9.3 解決不能實例化metadata的錯誤
Hive2.1的啟動需要先執行schematool命令進行初始化

schematool -dbType mysql -initSchema 

這里寫圖片描述
9.4 再次執行hive,進入到Hive Shell

這里寫圖片描述
此時Hive和MySQL連接安裝部署成功。

10.查看MySQL數據庫

hive-site.xml配置的是jdbc:mysql://spark:3306/hive?createDatabaseIfNotExist=true,即如果不存在hive數據庫會創建
默認MySQL里的數據庫
這里寫圖片描述

此時在MySQL里查看數據庫,多出了hive數據庫
這里寫圖片描述

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/456785.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/456785.shtml
英文地址,請注明出處:http://en.pswp.cn/news/456785.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

App性能優化之內存優化

2019獨角獸企業重金招聘Python工程師標準>>> 為什么要進行內存優化呢&#xff1f;其實我們可以反過來想。如果不進行內存優化會產生什么樣的問題&#xff1f; App的運行是有內存限制的&#xff0c;超過限制會產生OOM&#xff0c;導致App崩潰。如果內存不進行優化&am…

python+Tesseract-OCR實現圖片識別(只適合新手)

1.首先準備環境&#xff1a; python版本&#xff1a;2.7/3.6 操作系統&#xff1a;windows系統 2.準備工具&#xff1a; tesseract-ocr 安裝后設置好環境變量 鏈接: https://pan.baidu.com/s/1j8lBbQBrrbPaHAn5ujWFSw 提取碼: 2med Pycharm 3.安裝相關python包&#xf…

Linux 網絡編程詳解四(流協議與粘包)

TCP/IP協議是一種流協議&#xff0c;流協議是字節流&#xff0c;只有開始和結束&#xff0c;包與包之間沒有邊界&#xff0c;所以容易產生粘包&#xff0c;但是不會丟包。 UDP/IP協議是數據報&#xff0c;有邊界&#xff0c;不存在粘包&#xff0c;但是可能丟包。 產生粘包問題…

解決selenium.common.exceptions.WebDriverException: Message: unknown error: call function result missin

(Session info: chrome73.0.3683.103)(Driver info: chromedriver2.30.477700 (0057494ad8732195794a7b32078424f92a5fce41),platformWindows NT 10.0.17134 x86_64)報錯如上&#xff0c;由于版本不兼容 下面是谷歌瀏覽器與chromedriver的版本對應關系&#xff0c;供參考&#…

執行Hive語句報錯:FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Access denied for user '

安裝個Hive真不省心&#xff0c;各種問題。最近安裝好Hive后執行Hive語句時碰到這樣的錯誤&#xff1a; hive> show databases; FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Access denied for user rootlocalhost (using password: YES) NestedThr…

GPU

import tensorflow as tf a tf.constant([1.0,2.0,3.0,4.0,5.0,6.0],shape[2,3],namea) b tf.constant([1.0,2.0,3.0,4.0,5.0,6.0],shape[3,2],nameb) c tf.matmul(a,b)sess tf.Session(configtf.ConfigProto(log_device_placementTrue)) print sess.run(c)

阿里云部署django項目流程【centos7+python3+mysql】

購買阿里云服務器 到[阿里云官網]&#xff0c;選擇輕量應用服務器&#xff0c; 步驟如圖所示&#xff1a; 地域隨便選擇哪一個&#xff0c;鏡像的話&#xff0c;對比了CentOS&#xff0c;Debian&#xff0c;Ubuntu&#xff0c;我最終選擇了CentOS&#xff0c;因為流行嘛&…

XidianOJ 1123 K=1 Problem of Orz Pandas

題目描述 One panda named orz is playing a interesting game, he gets a big integer Num and an integer K. In this game, he can exchange two single numbers in Num. For example, he can get 1243 from 3241 by exchange 1 and 3.But orz can exchange at most K times…

對于頻繁的寫數據處理方式

添加一個新的表情的時候 調用 recentEmotions方法 將所有表情寫入數組 每次都是 添加一個新的表情進來 要將沙盒中的所有表情首先加載進數組&#xff0c;然后將表情添加到數組里面 然后在將數組寫入沙盒 處理方式 沒有必要每次都要到沙盒里面讀取數組文件 類方法 不能訪問 成員…

在Mysql中顯示所有用戶的操作教程(Linux環境下)

1.登錄數據庫 首先&#xff0c;你需要使用如下命令登錄到數據庫&#xff0c;注意&#xff0c;必須是root用戶哦~ mysql -u root -p 2.查詢用戶表 在Mysql中其實有一個內置且名為mysql的數據庫&#xff0c;這個數據庫中存儲的是Mysql的一些數據&#xff0c;比如用戶、權限信…

Scrapy 框架【學習筆記01】

Scrapy 框架 Scrapy是用純Python實現一個為了爬取網站數據、提取結構性數據而編寫的應用框架&#xff0c;用途非常廣泛。 框架的力量&#xff0c;用戶只需要定制開發幾個模塊就可以輕松的實現一個爬蟲&#xff0c;用來抓取網頁內容以及各種圖片&#xff0c;非常之方便。 Scra…

通過profile 用maven命令打不同配置的變量包

profiles定義如下<profiles><profile><id>local</id><properties><deploy.type>local</deploy.type></properties></profile><profile><id>dev</id><properties><deploy.type>dev</de…

執行Hive的查詢語句報錯:java.lang.IllegalArgumentException: Does not contain a valid host:port authority: loca

好不容易把Hive裝完了&#xff0c;結果一執行Hive的查詢語句運行MapReduce程序立馬報錯。。。 log詳細信息如下&#xff1a; Job running in-process (local Hadoop) Hadoop job information for null: number of mappers: 1; number of reducers: 0 2017-10-21 21:54:15,503…

scrapy startproject【學習筆記02】

入門案例 學習目標 創建一個Scrapy項目定義提取的結構化數據(Item)編寫爬取網站的 Spider 并提取出結構化數據(Item)編寫 Item Pipelines 來存儲提取到的Item(即結構化數據) 一. 新建項目(scrapy startproject) 在開始爬取之前&#xff0c;必須創建一個新的Scrapy項目。進入…

開始把其他的博客搬家到這里了

今天&#xff0c;用一晚上的時間進行一下文章的遷移吧。這樣以后查詢就可以在自己的博客中查找了&#xff0c;也算是給自己一個寫作的規律。 從很多個大牛的博客中都閱讀到&#xff0c;寫博客對于一個coder的重要性。希望這次可以堅持。轉載于:https://www.cnblogs.com/cyforev…

java系統高并發解決方案(轉載)

轉載博客地址&#xff1a;http://blog.csdn.net/zxl333/article/details/8685157 一個小型的網站&#xff0c;比如個人網站&#xff0c;可以使用最簡單的html靜態頁面就實現了&#xff0c;配合一些圖片達到美化效果&#xff0c;所有的頁面均存放在一個目錄下&#xff0c;這樣的…

Request/Response【學習筆記03】

Request Request 部分源碼&#xff1a; # 部分代碼 class Request(object_ref):def __init__(self, url, callbackNone, methodGET, headersNone, bodyNone, cookiesNone, metaNone, encodingutf-8, priority0,dont_filterFalse, errbackNone):self._encoding encoding # t…

TotoiseSVN的上手教程

本文轉自&#xff1a;http://www.cnblogs.com/xilentz/archive/2010/05/06/1728945.html TotoiseSVN的基本使用方法&#xff1a; 一、簽入源代碼到SVN服務器 假如我們使用Visual Studio在文件夾StartKit中創建了一個項目&#xff0c;我們要把這個項目的源代碼簽入到SVN Serv…

ALV可輸入狀態下輸入金額字段變小數的問題

http://blog.163.com/mxb_sapyeah/blog/static/10335262520167109022155/ 小數位數兩位 當我在給ALV上給該字段輸入整數 ‘1234 ‘ 時&#xff0c;該數據居然會默認變成‘12.34’ 可以在這里解決這個問題。就是定義字段目錄的時候&#xff0c;對于金額字段指定參考數據類型就…

Downloader Middlewares反反爬蟲【學習筆記04】

反反爬蟲相關機制 Some websites implement certain measures to prevent bots from crawling them, with varying degrees of sophistication. Getting around those measures can be difficult and tricky, and may sometimes require special infrastructure. Please consi…