使用python3連接hiveserver2的方法

    • 前言:
    • 1、啟動HiveServer2
    • 2、在Linux中安裝impyla(前提是安裝Python相關的環境、虛擬環境(可選))

前言:

需求:需要通過windows端的pycharm來操作hive。
于是就搜集資料尋找解決方案。
大概有三種方式:

  1. pyhs2 連接 hive,但是這個項目已經沒有人維護了,棄用。
  2. Pyhive連接hive。
  3. imply連接hive。

協商后決定還是用imply。
以下是整個安裝以及驗證的過程:

1、啟動HiveServer2

shell > cd /usr/local/apache-hive-2.3.1-binshell > nohup hiveserver2 1>/root/apps/hive-2.1.1/logs/hiveserver.log 2>/root/apps/hive-2.1.1/logs/hiveserver.err &(后臺啟動并將hivesever的日志導入對應的目錄)

2、在Linux中安裝impyla(前提是安裝Python相關的環境、虛擬環境(可選))

# 安裝依賴
shell > yum -y install gcc gcc-c++ cyrus-sasl-devel cyrus-sasl-plain# 創建虛擬環境(linux下安裝虛擬環境參考:)
shell > virtualenv --no-site-packages -p python3 venv# 啟用虛擬環境
shelll > source venv/bin/activate#linux下python的安裝教程見:
(venv) shell > python -V
Python 3.6.3# 安裝 impyla 及所需依賴包
(venv) shell > pip install ipython six bit_array thriftpy thrift_sasl==0.2.1 sasl impyla(venv) shell > ipythonIn [1]: from impala.dbapi import connectIn [2]: conn = connect(host="192.168.10.45", port=10000, database="logsdb", auth_mechanism="PLAIN")In [3]: cur = conn.cursor()In [4]: cur.execute("select count(*) from log_bftv_api")In [5]: cur.fetchone()
Out[5]: (1379094425,)In [6]: conn.close()# 程序查出了 hive table log_bftv_api 中總共有 1379094425 條數據。你也可以到對應yarn的web界面去查看對應執行進度,或者在1中配置的日志文件中查看執行的過程。# 其中,連接配置中 auth_mechanism 的值由 hive-site.xml 配置文件中 hive.server2.authentication 配置項指定,你需要到對應的hiveserver2節點的hive-site中添加如下配置:
<property><name>hive.server2.authentication</name><value>PLAIN</value>
</property>。# PLAIN 代表不啟用認證,也就是 hive.server2.authentication 的默認值:NONE。

轉自:https://www.cnblogs.com/wangxiaoqiangs/p/7850953.html

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/456502.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/456502.shtml
英文地址,請注明出處:http://en.pswp.cn/news/456502.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

vue2.X的路由

以 / 開頭的嵌套路徑會被當作根路徑。 <router-link> 在vue-router1.X中是以<a v-link""></a>存在的 里面的參數&#xff1a; to&#xff1a;代表跳轉的目的地&#xff0c;渲染成<a href""> 后面目的地有下面幾種表示法 to引導&a…

mysql啟動和關閉外鍵約束的方法(FOREIGN_KEY_CHECKS)

在MySQL中刪除一張表或一條數據的時候&#xff0c;出現 [Err] 1451 -Cannot delete or update a parent row: a foreign key constraint fails (...) 這是因為MySQL中設置了foreign key關聯&#xff0c;造成無法更新或刪除數據。可以通過設置FOREIGN_KEY_CHECKS變量來避免這種…

CentOS下安裝VirtualEnv的教程

文章目錄前言&#xff1a;1、下載安裝virutalenv2、安裝新的Python版本&#xff08;可以直接安裝anaconda&#xff1a;安裝過程可自行查資料&#xff09;3、 VirtualEnv的設置4、Python虛擬環境的作用總結&#xff1a;前言&#xff1a; 在目前的Linux系統中&#xff0c;默認使…

社保(五險一金)的問題

2019獨角獸企業重金招聘Python工程師標準>>> 社保&#xff0c;全稱為社會保險&#xff0c;是一種再分配制度&#xff0c;它的目標是保證物質及勞動力的再生產和社會的穩定。我們平時常說的社保&#xff0c;還有另一個名稱&#xff0c;及“五險一金”。那么社保是哪五…

PKM(個人知識管理)類軟件收集(偶爾更新列表)

evernote(印象筆記) Wiz 有道云 麥庫 leanote GoogleKeep OneNote SimpleNote(wp家的&#xff0c;免費) pocket(稍后讀的軟件&#xff0c;同類的還有Instapaper&#xff0c;國內的收趣) MyBase RaysNote(v友開發) CintaNotes https://jitaku.io 開源 Gitit-Bigger Laverna pape…

MySQL中外鍵的定義、作用、添加和刪除

1 簡介 在實際開發的項目中&#xff0c;一個健壯數據庫中的數據一定有很好的參照完整性。例如學生檔案和成績單兩張表&#xff0c;如果成績單中有張三的成績&#xff0c;學生檔案中張三的檔案卻被刪除了&#xff0c;這樣就會產生垃圾數據或者錯誤數據。為了保證數據的完整性&a…

Hive報錯:Error: FUNCTION 'NUCLEUS_ASCII' already exists. (state=X0Y68,code=30000)

Hive執行schematool -initSchema -dbType derby報錯。 報錯的日志&#xff1a; doupeihuadoupeihua-2104 ~/software/hive/bin $ schematool -initSchema -dbType derbySLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/doupei…

Andorid Scrolling Activity(CoordinatorLayout詳情)

1.new project -> Scrolling Activity 2.Layout xml code activity_scrolling.xml 1 <?xml version"1.0" encoding"utf-8"?>2 <android.support.design.widget.CoordinatorLayout xmlns:android"http://schemas.android.com/apk/res/an…

截取utf8中文字符串

英文直接截取即可。 中文應字節長度會亂碼&#xff0c;應先轉unicode截取。 如下&#xff1a; #-*- coding:utf8 -*- s u截取中文 s.decode(utf8)[0:3].encode(utf8)轉載于:https://www.cnblogs.com/BigFishFly/p/6337183.html

解決:Navicat for mysql 設置外鍵出錯

1 看下是不是外鍵允許為空&#xff0c;不唯一等約束條件不滿足 2 或者外鍵設置刪除時為 restrict 1. 兩個字段的類型或者大小不嚴格匹配。例如&#xff0c;如果一個是int(10)&#xff0c;那么外鍵也必須設置成int(10)&#xff0c;而不是int(11)&#xff0c;也不能是tinyint。另…

Python加鹽加密方法hashlib(md5,sha224,sha1,sha256)

用random.randint隨機數給密碼加,鹽加強密碼的安全性

Ubuntu16.04以root身份登入!

首先以非root用戶身份登入系統。 1&#xff0c;修改root密碼&#xff1a;啟動shell&#xff0c;隨后在shell里面輸入命令&#xff1a; sudo passwd root 最后輸入root要使用的密碼&#xff0c;需要輸入兩次&#xff0c;這樣root密碼就修改完畢了&#xff01; 2&#xff0c;修改…

HDU2193-AVL-數據結構-AVL

題目鏈接&#xff1a;http://acm.hdu.edu.cn/statistic.php?pid2193&from126&lang&order_type0 好吧。水題一道&#xff0c;原本以為是一道寫AVL樹的想寫來練練手。沒有想到卻是這樣一道水題&#xff0c;好吧&#xff0c;猥瑣的水過。 題目意思&#xff1a; 題目大…

玩Linux碰到的問題以及使用技巧總結

文章目錄1、問題問題一&#xff1a;解壓JDK報錯&#xff1a;gzip:stdin:not in gzip format。 問題二&#xff1a;在Linux下ping不通外網 問題三&#xff1a;解決虛擬機克隆后網卡eth0不見的問題 問題四&#xff1a;執行腳本報錯&#xff1a;syntax error: unexpected end of f…

python連接MySQL數據庫搭建簡易博客

實現功能大概 將python和MySQL數據庫交互進行 封裝 ---》》utils.py 文件程序 ----》blog.py # -*- coding: utf-8 -*- # Time : 2019/08/30 15:33 # Author : Liu # File : utils.pyimport pymysql import hashlibclass dbHelper:def __init__(self, host, user, pass…

利用Sqoop在數據庫和Hive、HDFS之間做ETL操作

文章目錄[toc] 目錄&#xff1a;一、利用Sqoop&#xff0c;從Oracle到HDFS二、利用Sqoop&#xff0c;從Oracle到Hive三、遇到的問題目錄&#xff1a; 一、利用Sqoop&#xff0c;從Oracle到HDFS 第一步&#xff1a;把Oracle驅動拷貝到Sqoop安裝路徑中的lib文件夾下。 第二步&…

跨地域的VPC私網互通【高速通道案例】

最近一家大型企業正在將業務遷移至阿里云平臺&#xff0c;用戶有深圳&#xff0c;北京&#xff0c;上海等分支&#xff0c;其中上海為總部&#xff0c;用戶要求在阿里云上的華南1&#xff0c;華北2&#xff0c;華東2分別建立VPC網絡&#xff0c;其中華南1&#xff0c;華北2要與…

HDU 1711 Number Sequence(KMP模板)

http://acm.hdu.edu.cn/showproblem.php?pid1711 這道題就是一個KMP模板。 1 #include<iostream> 2 #include<cstring>3 using namespace std;4 5 const int maxn 10000005;6 7 int n,m;8 9 int next[maxn]; 10 int a[maxn], b[maxn]; 11 12 void get_next() 13…

Redis數據庫學習筆記

一、NoSql&#xff08;非關系型數據庫&#xff09; NoSQL&#xff1a;NoSQL Not Only SQL 非關系型數據庫 ? NoSQL&#xff0c;泛指非關系型的數據庫。隨著互聯網web2.0網站的興起&#xff0c;傳統的關系數據庫在應付web2.0網站&#xff0c;特別是超大規模和高并發的SNS類型…

Sqoop的安裝配置及工作機制

文章目錄[toc] 目錄&#xff1a;1、簡介2、sqoop安裝2.1、下載并解壓2.2、修改配置文件2.3、加入mysql或oracle的jdbc驅動包2.4、驗證啟動3、Sqoop的原理3.1、代碼定制目錄&#xff1a; 1、簡介 sqoop是apache旗下一款“Hadoop和關系數據庫服務器之間傳送數據”的工具。 導入…