hive索引


創建

hive (zmgdb)> create index index_t1 on table v_t1(name)
? ? ? ? ? ? > as
? ? ? ? ? ? > 'org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler'
? ? ? ? ? ? > with
? ? ? ? ? ? > deferred rebuild in table save_index_t1_table;

OK
Time taken: 0.524 seconds

save_index_t1_table:保存索引的表。

即創建了的索引,需要一張表去保存,一個索引一張索引保存表,保存在hadoop里。
as 指定索引器,org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler 是固定值,常用的索引器。

重建索引,新增數據要重建索引,這樣在保存索引的 t1_index_table 就有索引信息了。

hive (zmgdb)> alter index index_t1 on v_t1 rebuild;

WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
Query ID = hadoop_20160923005139_9caf10f1-5481-4de8-b95a-889c19e45032
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks not specified. Estimated from input data size: 1
In order to change the average load for a reducer (in bytes):
? set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
? set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
? set mapreduce.job.reduces=<number>
Starting Job = job_1474540738385_0003, Tracking URL = http://hello110:8088/proxy/application_1474540738385_0003/
Kill Command = /home/hadoop/app/hadoop-2.7.2/bin/hadoop job ?-kill job_1474540738385_0003
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
2016-09-23 00:51:46,046 Stage-1 map = 0%, ?reduce = 0%
2016-09-23 00:51:54,485 Stage-1 map = 100%, ?reduce = 0%, Cumulative CPU 2.91 sec
2016-09-23 00:52:00,724 Stage-1 map = 100%, ?reduce = 100%, Cumulative CPU 4.76 sec
MapReduce Total cumulative CPU time: 4 seconds 760 msec
Ended Job = job_1474540738385_0003
Loading data to table zmgdb.save_index_t1_table
MapReduce Jobs Launched:?
Stage-Stage-1: Map: 1 ?Reduce: 1 ? Cumulative CPU: 4.76 sec ? HDFS Read: 9845 HDFS Write: 426 SUCCESS
Total MapReduce CPU Time Spent: 4 seconds 760 msec
OK
Time taken: 22.73 seconds


索引表分析

hive (zmgdb)> select * from save_index_t1_table;
OK
save_index_t1_table.name ? ? ? ?save_index_t1_table._bucketname save_index_t1_table._offsets
lisi ? ?hdfs://hello110:9000/user/hive/warehouse/zmgdb.db/v_t1/v_t1 ? ? [0]
xiaohua hdfs://hello110:9000/user/hive/warehouse/zmgdb.db/v_t1/v_t1 ? ? [49]
xiaoji ?hdfs://hello110:9000/user/hive/warehouse/zmgdb.db/v_t1/v_t1 ? ? [32]
ximing ?hdfs://hello110:9000/user/hive/warehouse/zmgdb.db/v_t1/v_t1 ? ? [15]
xx ? ? ?hdfs://hello110:9000/user/hive/warehouse/zmgdb.db/v_t1/v_t1 ? ? [67]
Time taken: 0.073 seconds, Fetched: 5 row(s)

索引里面保存了:索引鍵內容,內容所在文件位置,內容在文件里的偏移量。
hive select 會去找索引,例如name=lisi的值,找到該值所在的文件位置,和在文件里的偏移量,進入該文件到指定的偏移量里,找出來的就是了。
如果沒有索引,會開啟mr去目錄下全局查找,有了索引,就像書有了目錄,不用整本書找了,通過目錄找,肯定更快。簡單的select 查詢hive不啟用mapreduce,復雜的會啟動。



顯示表表的索引

show formatted index on t1;


刪除索引

drop index ?if exists t1_index on t1;


補充:

表的數據發生改變后,都要重建表的索引。





本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/539164.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/539164.shtml
英文地址,請注明出處:http://en.pswp.cn/news/539164.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

python爬取知網論文關鍵詞_Python爬蟲根據關鍵詞爬取知網論文摘要并保存到數據庫中...

由于實驗室需要一些語料做研究&#xff0c;語料要求是知網上的論文摘要&#xff0c;但是目前最新版的知網爬起來有些麻煩&#xff0c;所以我利用的是知網的另外一個搜索接口 搜索出來的結果和知網上的結果幾乎一樣 在這個基礎上&#xff0c;我簡單看了些網頁的結構&#xff0c;…

網頁中查看pdf文檔

2019獨角獸企業重金招聘Python工程師標準>>> 介紹&#xff1a; PDFObject 是一個 JavaScript 庫&#xff0c;用來在HTML中動態嵌入 PDF 文檔。 實現代碼&#xff1a; <script type"text/javascript" src"pdfobject.js"></script>…

導入導出數據

導入數據 從文件中裝載數據 hive>LOAD DATA [LOCAL] INPATH ... [OVERWRITE] INTO TABLE t2 [PARTITION (provincebeijing)]; LOCAL&#xff1a;linux本地的文件。無LOCAL&#xff1a;是hdfs的文件 注意&#xff1a; 從本地文件系統中將數據導入到Hive表的過程中&#xf…

python opencv 讀取視頻流不解碼_python + opencv: 解決不能讀取視頻的問題

博主一開始使用python2.7和Opencv2.4.10來獲取攝像頭圖像&#xff0c;程序如下&#xff1a; cap cv2.VideoCapture(0) ret, frame cap.read()使用這個程序能夠打開攝像頭并獲取圖像&#xff0c;一切正常。 接著想使用OpenCv播放視頻&#xff0c;按照官方教程只要將VideoCaptu…

jmeter提取mysql返回值_jmeter連接數據庫和提取數據庫返回值

一、在MySQL命令行中&#xff0c;驗證MySQL是否能正常登陸。若不能登陸&#xff0c;則重置MySQL的密碼。二、下載mysql-connector-java-5.1.45-bin.jar&#xff0c;將其放入Jmeter安裝目錄的lib目錄下。完成MySQL數據庫的驅動。三、右鍵“線程組”->“配置元件”->“JDBC…

[轉] Lodash

與underscore 類似 &#xff0c; 是1個js庫&#xff0c;內部封裝了諸多對字符串、數組、對象等常見數據類型的處理函數。 模塊組成 Lodash 提供的輔助函數主要分為以下幾類&#xff0c;函數列表和用法實例請查看 Lodash 的官方文檔&#xff1a; Array&#xff0c;適用于數組類型…

讀模式與寫模式

RDBMS是寫模式 Hive是讀模式 我們傳統的關系型數據庫RDBMS是寫模式。在RDBMS里&#xff0c;我們對表進行數據操作時候&#xff0c;RDBMS會用數據庫的第一第二第三范式去檢查數據的規范性&#xff0c;如果不符合規范&#xff0c;數據庫就拒絕數據的加載和操作。這個驗證過程消耗…

用python畫雨滴_Python編程從入門到實踐練習(雨滴)

雨滴&#xff1a;尋找一幅雨滴圖像&#xff0c;并創建一系列整齊排列的雨滴。讓這些雨滴往下落&#xff0c;直到到達屏幕后消失。 先說今天的問題&#xff1a; 1.在更改函數形參時&#xff0c;調用的時候也要修改&#xff0c;否則會出現AttributeError 值得注意的是&#xff1a…

python你是否也走進了這個誤區了_Python是不是被嚴重高估了?

是python被曲解了python有非常強的局限性&#xff0c;那就是只適合在io和網絡或其他整合組件上耗費大量時間的快速迭代跨平臺需求&#xff0c;比如爬蟲和下載快速迭代才能顯示出python作為腳本語言不用編譯的優勢&#xff0c;而io和網絡的大量時間消耗才能掩蓋python本身糟糕透…

Hive文件格式

Hive有四種文件格式&#xff1a;TextFile&#xff0c;SequenceFile&#xff0c;RCFile&#xff0c;ORC TextFile 默認的格式&#xff0c;文本格式。 SequenceFile 簡介 見&#xff1a;http://blog.csdn.net/zengmingen/article/details/52242768 操作 hive (zmgdb)>cre…

learnpythonthehardway下載_Python【十一】:階段小結

今天來將前一段時間學習的Python的知識系統地梳理一遍&#xff0c;接下來開始實際的編程實踐了。 一、Python實驗環境搭建 使用Python編程&#xff0c;首先要有一個開發環境&#xff0c;如同C/C上又VS2008家族一樣&#xff0c;Linux/MacOS上的部署情況這里不再詳述&#xff0c;…

python使用ssh 中文_Python3制作簡易SSH登錄工具

下載W3Cschool手機App&#xff0c;0基礎隨時隨地學編程>>戳此了解導語做這個的起因大概是&#xff1a;電腦里的Xshell不知道為啥突然顯示“評估期已過”之類的提示。。。記得之前認證學校郵箱后是可以免費使用的。。。蒼天繞過誰。。。想起上次認證學校郵箱過了N個小時才…

hive java導入CVS

原文&#xff1a;http://bbs.chinahadoop.cn/thread-5343-1-1.html ---------------------------------------------------------------------------------- 本文的目的是hive讀取cvs文件&#xff0c;忽略字段中‘\,’&#xff0c;最終還是以,來分割文本 cvs格式是以逗號,隔開…

Django 博客教程(三):創建應用和編寫數據庫模型

創建 django 博客應用 在上一章節中我們創建了 django 博客的工程&#xff0c;并且成功地運行了它。然而這一切都是 django 為我們創建的項目初始內容&#xff0c;django 不可能為我們初始化生成我們需要的博客代碼&#xff0c;這些功能性代碼都得由我們自己編寫。 django 鼓勵…

python將16進制字符串轉換為整數_Python 16進制與字符串的轉換

電腦上裝了Python2.7和3.3兩個版本&#xff0c;平時運行程序包括在Eclipse里面調試都會使用2.7&#xff0c;但是由于某些原因在cmd命令行中輸入python得到的解釋器則是3.3, 一直沒對此做處理&#xff0c;因為這樣可以對兩個版本的差異有一個測試&#xff0c;而且虛擬機里面是2.…

python多個文件打包成exe_多個py文件生成一個可運行exe文件

一、概述 目前有一個python腳本,需要在別的電腦中運行,安裝python環境太麻煩,封裝成exe文件,運行比較方便。 二、演示 環境說明 python版本:3.7.9 操作系統:windows 10 安裝模塊 pip3 installer pyinstaller 封裝 新建目錄test,目錄結構如下: ./├── conf.py └── …

CSV文件的轉義處理

原文&#xff1a;http://blog.csdn.net/maqingli20/article/details/7095132 ------------------------------------------------------------------------------------ CSV文件是一種適合程序格式化輸出數據的文件格式。它使用英文逗號作為列分隔符&#xff0c;文件可以直接用…

華為讀取版本exe_關于esrv_svc.exe和SurSvc.exe疑似泄露用戶信息的猜測

封面圖片來源&#xff1a;https://www.weibo.com/1885454921/GpBhR3vpk?typerepost#_rnd1573301201348抱歉&#xff0c;寫網頁文章的次數不多&#xff0c;排版沒研究過&#xff0c;請原諒。下面是正題&#xff1a;由來&#xff1a;最初是借由火絨的自定義防護規則&#xff0c;…

gitlab ci mysql_php-Gitlab CI:在階段之間保留MySQL數據

根據Gitlab問題頁面&#xff1a;Share service between build stages.Gitlab-CI的設置方式如下&#xff1a;each job is run in each job is run independently of the others,including potentially running on different machines. And the servicesare run locally on each …