Hive的數據模型-管理表


概述

管理表,也稱作內部表,受控表。
所有的 Table 數據(不包括 External Table)都保存在warehouse這個目錄中。
刪除表時,元數據與數據都會被刪除。
在加載數據的過程中,實際數據會被移動到數據倉庫目錄中;之后對數據對訪問將會直接在數據倉庫目錄中完成。刪除表時,表中的數據和元數據將會被同時刪除。


操作

創建數據文件

inner_table.dat


創建表
hive>create table inner_table (key string);


加載數據
hive>load data local inpath '/root/inner_table.dat' into table inner_table;


查看數據
select * from inner_table
select count(*) from inner_table


刪除表 drop table inner_table


缺點

假設,t1表的文件路徑在/home
t2表的文件路徑在/home/t2
當刪除t1表時,會把/home下的都刪了。這是很危險的,所以實際開發中,不用管理表,很容易導致數據丟失。


修改管理表為外部表
alter table t1 set tblpropertise('EXTERNAL'='TRUE');
?EXTERNAL,TRUE 這個詞必須大寫,改回內部表用FALSE



---------------------------------------------------------------

hive (default)> desc formatted map_test;
OK
col_name ? ? ? ?data_type ? ? ? comment
# col_name ? ? ? ? ? ? ?data_type ? ? ? ? ? ? ? comment ? ? ? ? ? ??
? ? ? ? ? ? ? ? ?
id ? ? ? ? ? ? ? ? ? ? ?string ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
perf ? ? ? ? ? ? ? ? ? ?map<string,int> ? ? ? ? ? ? ? ? ? ? ? ? ? ??
? ? ? ? ? ? ? ? ?
# Detailed Table Information ? ? ? ? ? ??
Database: ? ? ? ? ? ? ? default ? ? ? ? ? ? ? ? ?
Owner: ? ? ? ? ? ? ? ? ?hadoop ? ? ? ? ? ? ? ? ??
CreateTime: ? ? ? ? ? ? Wed Aug 31 20:15:40 CST 2016 ? ??
LastAccessTime: ? ? ? ? UNKNOWN ? ? ? ? ? ? ? ? ?
Retention: ? ? ? ? ? ? ?0 ? ? ? ? ? ? ? ? ? ? ? ?
Location: ? ? ? ? ? ? ? hdfs://hello110:9000/user/hive/warehouse/map_test ? ? ? ?
Table Type: ? ? ? ? ? ? MANAGED_TABLE ? ? ? ? ? ?
Table Parameters: ? ? ? ? ? ? ? ?
? ? ? ? COLUMN_STATS_ACCURATE ? {\"BASIC_STATS\":\"true\"}
? ? ? ? numFiles ? ? ? ? ? ? ? ?0 ? ? ? ? ? ? ? ? ??
? ? ? ? numRows ? ? ? ? ? ? ? ? 0 ? ? ? ? ? ? ? ? ??
? ? ? ? rawDataSize ? ? ? ? ? ? 0 ? ? ? ? ? ? ? ? ??
? ? ? ? totalSize ? ? ? ? ? ? ? 0 ? ? ? ? ? ? ? ? ??
? ? ? ? transient_lastDdlTime ? 1472645800 ? ? ? ? ?
? ? ? ? ? ? ? ? ?
# Storage Information ? ? ? ? ? ?
SerDe Library: ? ? ? ? ?org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe ? ? ??
InputFormat: ? ? ? ? ? ?org.apache.hadoop.mapred.TextInputFormat ? ? ? ??
OutputFormat: ? ? ? ? ? org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat ? ? ??
Compressed: ? ? ? ? ? ? No ? ? ? ? ? ? ? ? ? ? ??
Num Buckets: ? ? ? ? ? ?-1 ? ? ? ? ? ? ? ? ? ? ??
Bucket Columns: ? ? ? ? [] ? ? ? ? ? ? ? ? ? ? ??
Sort Columns: ? ? ? ? ? [] ? ? ? ? ? ? ? ? ? ? ??
Storage Desc Params: ? ? ? ? ? ??
? ? ? ? colelction.delim ? ? ? ?, ? ? ? ? ? ? ? ? ??
? ? ? ? field.delim ? ? ? ? ? ? \t ? ? ? ? ? ? ? ? ?
? ? ? ? mapkey.delim ? ? ? ? ? ?: ? ? ? ? ? ? ? ? ??
? ? ? ? serialization.format ? ?\t ? ? ? ? ? ? ? ? ?
Time taken: 0.383 seconds, Fetched: 34 row(s)




本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/539193.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/539193.shtml
英文地址,請注明出處:http://en.pswp.cn/news/539193.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

mft按鈕設計_火力發電廠典型MFT邏輯控制實現.pdf

火力發電廠典型MFT邏輯控制實現.pdf火力發電廠典型MFT邏輯控制實現劉文豐 陳思銘湖南省電力試驗研究院 (湖南長沙410007)摘要&#xff1a;以金竹山電廠擴建工程國產2600MW亞臨界機組為例&#xff0c;概述了必力發電廠FSSS中典型MFT的原理及重要性&#xff0c;詳細介紹各MFT條件…

oracle schema_oracle數據庫全局統計更新

--oracle數據庫優化 替換用戶名 user&#xff0c;在該用戶下執行begindbms_stats.gather_schema_stats(ownname >USER,options > GATHER,estimate_percent > dbms_stats.auto_sample_size,method_opt > for all columns size skewonly,degree > 7 );end;————…

python操作三大主流數據庫(12)python操作redis的api框架redis-py簡單使用

python操作三大主流數據庫(12)python操作redis的api框架redis-py簡單使用 redispy安裝安裝及簡單使用&#xff1a;https://github.com/andymccurdy/redis-pyapi參考文檔&#xff1a;http://redis-py.readthedocs.io/en/latest/ 1.安裝redis-py pip install redis C:\Users\ajie…

Hive的數據模型-外部表

概述 包含External 的表叫外部表 刪除外部表只刪除metastore的元數據&#xff0c;不刪除hdfs中的表數據 外部表 只有一個過程&#xff0c;加載數據和創建表同時完成&#xff0c;并不會移動到數據倉庫目錄中&#xff0c;只是與外部數據建立一個鏈接。當刪除一個 外部表 時&…

對github的初步認識以及對軟件技術基礎課程的期待

對github的初步認識&#xff1a; Git是一個開源的分布式版本控制系統&#xff08;版本控制是一種記錄一個或若干文件內容變化&#xff0c;以便將來查閱特定版本修訂情況的系統&#xff09;&#xff0c;客戶端并不只提取最新版本的文件快照&#xff0c;而是把代碼倉庫完整地鏡像…

centos默認安裝mysql_centos6.x默認安裝mysql5.7

1. yum 安裝 mysql5.7 yum 源yum localinstall mysql57-community-release-el6-8.noarch.rpm2. 查看是否成功安裝MySQL Yum Repositoryyum repolist enabled|grep ""mysql.*-community.*3. 安裝mysqlyum install mysql-community-server4.開啟數據庫服務service mys…

Hive的數據模型-分區表

需求 select * from t1 where xxxx; 這是全表掃描的。實際應用中&#xff0c;有時候不一定需要全表掃描。 比如電信的日志文件&#xff0c;一個表里存了從去年到現在的日志文件&#xff0c;那是很多很大的&#xff0c;實際需求要查今天的&#xff0c;如果用上面的sql&#xf…

arduino 停止程序_建立Arduino機器人,第五部分:障礙規避

歡迎閱讀教程系列的第五篇文章&#xff0c;其中我正在構建一個基于遙控Arduino的車輛機器人。這是我到目前為止發表的文章列表&#xff1a;第一部分&#xff1a;硬件組件第二部分&#xff1a;Arduino編程第三部分&#xff1a;組裝機器人第四部分&#xff1a;A(不是那樣)基本機器…

debug error怎么解決_我要以血和淚的經歷告訴你,這個 bug 太難解決了

[npm install報錯: npm WARN tar ENOENT: no such file or directory]npm installnpm WARN deprecated request2.88.2: request has been deprecated, see request/request#3142npm WARN deprecated mkdirp0.5.1: Legacy versions of mkdirp are no longer supported. Please u…

Yarn簡單介紹及內存配置

在這篇博客中&#xff0c;主要介紹了Yarn對MRv1的改進&#xff0c;以及Yarn簡單的內存配置和Yarn的資源抽象container。我么知道MRv1存在的主要問題是&#xff1a;在運行時&#xff0c;JobTracker既負責資源管理又負責任務調度&#xff0c;這導致了它的擴展性、資源利用率低等問…

mysql計算時間函數_mysql時間計算函數

當前一個業務需求&#xff0c;需要查找創建在三天以前的數據&#xff0c;表中是存了一個創建時間的&#xff1b;這個需求看起來很簡單&#xff0c;直接全部查找出來然后用代碼根據時間篩選一下就可以了。但這只是適用于數據量不大的情況下&#xff0c;如果數據量大&#xff0c;…

html上傳文件_.NET基于WebUploader大文件分片上傳、斷網續傳、秒傳

(給DotNet加星標&#xff0c;提升.Net技能)轉自&#xff1a;學習中的苦與樂cnblogs.com/xiongze520/p/10412693.html現在的項目開發基本上都用到了上傳文件功能&#xff0c;或圖片&#xff0c;或文檔&#xff0c;或視頻。我們常用的常規上傳已經能夠滿足當前要求了&#xff0c;…

Hadoop運行任務時一直卡在: INFO mapreduce.Job: Running job

原文鏈接&#xff1a;http://blog.csdn.net/dai451954706/article/details/50464036 ----------------------------------------------------------------------------------------------------- 今天&#xff0c;一大清早同事就讓我幫他解決Hive的問題&#xff1a;他在Hive中…

git切換用戶密碼_Git 最基本的命令

本人比較懶&#xff0c;不是很愛學習新東西&#xff0c;之前用Git一直在用GUI SourceTree&#xff0c;今天因為用到Cloud IDEGitHub才迫不得已用一下Git的命令行&#xff0c;如果你是Git的新手&#xff0c;也分享給你最基本的命令。新建一個Git版本庫把一個本地文件夾變成一個G…

動態分區裝載數據

不開啟 一個個分區導入&#xff0c;分區需要做到一對一。 hive (zmgdb)> insert overwrite table p_t3 partition (cityningbo) > select name,post,address from p_t1 where cityningbo; 會啟動mapreduce進行導入&#xff0c;mr卡在kill job_xxxx&#…

python爬蟲常見報錯_對Python爬蟲常見工具總結,歡迎補充

前言 以前寫爬蟲都是用requests包&#xff0c;雖然很好用&#xff0c;不過還是要封裝一些header啊什么的&#xff0c;也沒有用過無頭瀏覽器&#xff0c;今天偶然接觸了一下。 原因是在處理一個錯誤的時候&#xff0c;用到了幾個以前沒有用過的工具&#xff1b;這幾個工具也挺常…

AI造福設計師:搭配色板這種苦差事交給GAN就好啦(教程)

本文來自AI新媒體量子位&#xff08;QbitAI&#xff09;設計師要開工&#xff0c;總是離不開配色方案&#xff0c;也就是色板。 不過&#xff0c;做色板可不是個簡單的活&#xff0c;色板生成器Colormind的作者Jack Qiao&#xff08;名字來自Product Hunt&#xff0c;我們下面叫…

mapreduce yarn內存參數

1、yarn-site.xml 設置 1.1 RM設置 RM的內存資源配置&#xff0c;主要是通過下面的兩個參數進行的&#xff08;這兩個值是Yarn平臺特性&#xff0c;應在yarn-sit.xml中配置好&#xff09;&#xff1a; yarn.scheduler.minimum-allocation-mb yarn.scheduler.maximum-allocati…

python有哪些常用的package_個人Python常用Package及其安裝

為了避免每次重裝系統時又要東翻西找&#xff0c;現在此記錄一下目前常用的Python包安裝過程。 1) Python: 2.7.11, 下載地址&#xff1a;www.python.org。由于個人喜歡使用PyQt4&#xff08;其實是不會PyQt5……&#xff09;&#xff0c;因此選擇安裝Python2.7。 安裝好Python…

html網頁設計大賽_HTML5網頁設計大賽 || 決賽名單公布

歷經數日的HTML5網頁設計大賽初賽已經落下的帷幕激動人心的決賽即將開始你們準備好了嗎&#xff1f;①決賽名單在經過評委老師多輪評選后,有以下隊伍/(個人)脫穎而出進入決賽&#xff1a;1.施佳鏞_故宮旅游網2.王永校_神秘莫測的宇宙3.黃煒岳_廣州旅游網站4.吳貴濱_NameLess5.陳…