如何將hive查詢結果導出成txt文件

原文地址:https://zhidao.baidu.com/question/241683835498891364.html    
-----------------------------------------------------------------------------
最近在使用hive時,需要將hive查詢的數據導出到本地文件系統,HQL語法如下:
  INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1
  查詢結果導出到本地文件后,試圖使用excel加載時遇上了麻煩:不知道hive導出文件時使用的分隔符,
  使用文本編輯器打開也顯示亂碼。
  最后在官方文檔上找了半天才發現,hive使用 ^A 符號作為域的分隔符,原文如下:
  Data written to the filesystem is serialized as text with columns separated by ^A
  在python中可以使用line.split('\x01')來進行切分,也可以使用line.split('\001'),注意其中是單引號
  在java中可以使用split("\\u0001")來進行切分
  如果確實需要將查詢結果導出到本地文件,最好使用hive的命令:
  [sql] view plaincopy在CODE上查看代碼片派生到我的代碼片
  bin/hive -e "select * from test" >> res.csv
  
  或者是:
  
  bin/hive -f sql.q >> res.csv
  
  其中文件sql.q寫入你想要執行的查詢語句

  這問題在使用hive hql streaming時也會遇到,當你使用hql strreaming 將輸出直接寫入到hdfs目錄,然后你在該目錄上創建hive 外部表時,hive的輸出結果會將streaming 的key和value之間的分隔符修改為 \001,所以,在hql streaming和輸出為hive 外部表時,最好將streaming的最后輸出的分隔符修改為\001,并且hive外部表的分隔符應該設置為\001,注意:不要使用^A和\x01,如:
  [html] view plaincopy在CODE上查看代碼片派生到我的代碼片
  create external table site_user_mapping_info_month(uid String,tag string,project_ids string,site_interests string) PARTITIONED BY(year String, month String) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' LOCATION '/project/site_grouping/site_user_mapping_info_month';

-------------

更多的Java,Angular,Android,大數據,J2EE,Python,數據庫,Linux,Java架構師,:

http://www.cnblogs.com/zengmiaogen/p/7083694.html

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/538700.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/538700.shtml
英文地址,請注明出處:http://en.pswp.cn/news/538700.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

MSSQL-最佳實踐-如何監控備份還原進度

title: MSSQL 最佳實踐 如何監控備份還原進度 author: 風移 摘要 本期月報是SQL Server備份還原專題分享系列的第六期,打算分享給大家如何監控SQL Server備份還原進度。 場景引入 由于SQL Server備份還原操作是重I/O讀寫操作,尤其是當數據庫或數據庫備…

搶車位app下載_太方便了!有了這個APP,找車位再也不用“兜圈子”了

對于不少有車一族來說,決定出門是否開車的重要因素之一,那就是目的地是不是好停車,因為找車位可真是一件很頭疼的事,不過未來,滿街找停車位的尷尬情況將會越來越少,近日,鎮江智慧停車平臺正式上…

bmp文件頭_圖像算法原理與實踐——圖像文件存儲

圖像數據在計算機儲器設備中的存儲形式是圖像文件,圖像必須按照某個公開的、規范約終結定的數據存儲順序和結構進行保存,才能使不同的程序對圖像文件順利進行打開或存盤操作,實現數據共享。圖像數據在文件中的存儲順序和結構稱為圖像文件格式…

一共81個,開源大數據處理工具匯總

查詢引擎 一、Phoenix 貢獻者::Salesforce 簡介:這是一個Java中間層,可以讓開發者在Apache HBase上執行SQL查詢。Phoenix完全使用Java編寫,代碼位于GitHub上,并且提供了一個客戶端可嵌入的JDBC驅動。 Phoen…

html5怎么刪除樣式,css怎么刪除一個樣式

css刪除一個樣式的方法:首先創建一個HTML示例文件;然后給div添加css樣式;最后通過“removeClass()”方法從被選元素刪除一個或多個類即可。本教程操作環境:windows7系統、HTML5&&CSS3版、Dell G3電腦。CSS添加樣式、刪除樣…

python語言中內置的字符串排版方法_Python14之字符串(各種奇葩的內置方法)

一、字符串的分片操作其分片操作和列表和元組一樣1 str1 keshengtao2 str1[2:6]3 shen4 str1[:]5 keshengtao6 str1[:4]7 keshView Code二、訪問字符串中的字符注:字符串中的單個字符,同樣也是字符串1 str1 keshengtao2 str1[3]3 hView Code三、字符串…

sqlserver 字符串轉化數值函數_Excel常見函數用法(TEXT函數)

基本語句:=TEXT(數值,文本格式) 用法說明:TEXT函數可通過格式代碼對數字應用格式,進而更改數字的顯示方式。其中,參數①是我們想要改變格式的數值,它可以是文本,也可以是數字;而參數②就是我們想要參數①最終變成的格式,它的作用原理和自定義數字格式一致,基本用法共…

laravel 的 表單請求

在對文章、帖子等信息進行創建、更新的時候,需要進行表單驗證的時候,一般我們使用Request來獲取輸入的值來進行驗證,這樣需要在每一個方法中進行書寫驗證規則。 laravel 提供了創建表單請求,我們可以使用 artisan 來創建一個表單請…

Flume概述

官網 http://flume.apache.org/ 介紹 Flume是一個分布式、可靠、和高可用的海量日志采集、聚合和傳輸的系統。Flume可以采集文件,socket數據包等各種形式源數據,又可以將采集到的數據輸出到HDFS、hbase、hive、kafka等眾多外部存儲系統中。一般的采集需…

日常計算機操作知識試題,關于2017計算機一級考試試題操作題

關于2017計算機一級考試試題操作題在日常學習和工作中,我們很多時候都不得不用到試題,試題可以幫助參考者清楚地認識自己的知識掌握程度。那么一般好的試題都具備什么特點呢?下面是小編為大家整理的關于2017計算機一級考試試題操作題&#xf…

概率分布分位點_概率分布的分位數三.PPT

概率分布的分位數三5.2 常用統計分布 一、常見分布 t 分布具有下列性質: 性質5.6 設 , 則當 時有 性質5.7 設 , 是T的分布密度, 則 此性質說明,當 時,T分布的極限 分布是標準正態分布。 這說明F分布極限分布也是正態分…

mastercam加工報表生成_聽說最厲害的工程師才敢這樣玩五軸加工?

今天讓我們一起來看看五軸有些什么接地氣的玩法:側刃加工(此圖非動圖)相較使用刀具底刃加工,利用刀具側刃加工可以得到更加光滑的加工表面。適用于航空航天工業中復雜型腔工件的精加工。Mastercam提供專用功能可有效防止刀具和零件型腔底部出現過切&…

Flume安裝(單節點)

Flume單節點的安裝非常簡單。 1、下載 2、解壓 3、配置環境變量FLUME_HOME 4、flume-env.sh配置JAVA_HOME 具體步驟 下載 http://flume.apache.org/download.html 解壓 tar -zxvf apache-flume-1.7.0-bin.tar.gz 配置FLUME_HOME root 用戶或者 su root vi /etc/pro…

電子科技大學2019年計算機復試分數線,2019考研電子科技大學復試分數線已公布...

2019考研電子科技大學復試分數線已公布!相信接下來很多2019考研考生都會關注34所考研復試分數線及考研國家線相關信息。中公考研小編整理了“2019考研電子科技大學復試分數線已公布”文章,希望能對2019考研考生有幫助~根據教育部有關文件精神&#xff0c…

量子計算時代來臨?D-Wave 量子計算機使運算速度提高 1 億倍!

查爾斯巴貝奇(Charles Babbage)于 19 世紀 30 年代提出了一款難以實現的概念性分析引擎,自那時以來,計算機科學一直為了保持領先于時代的地位而奮力前行。在過去 75 年內,許多驚人的創舉接連出現:可編程電子…

python編的游戲越玩越卡_用Python寫游戲,不到十分鐘就學會了

安裝pygame本人電腦是windows 10、python3.6,pygame下載地址:pypi.python.org/pypi/Pygame…請自行下載對應python版本的pygame運行以下命令創建Pygame窗口及響應用戶輸入新建一個文件夾alien_invasion,并在文件夾中新建alien_invasion.py文件…

Map Reduce和流處理

歡迎大家前往騰訊云社區,獲取更多騰訊海量技術實踐干貨哦~本文由從流域到海域翻譯,發表于騰訊云社區map()和reduce()是在集群式設備上用來做大規模數據處理的方法,用戶定義一個特定的映射,函數將使用該映射對一系列鍵值對進行處理…

Flume實戰監聽網絡端口

具體的配置解釋見官網 http://flume.apache.org/FlumeUserGuide.html#flume-sources 1、flume安裝目錄下新建文件夾 example 2、在example下新建文件 netcat-logger.conf內容如下:#name the components on this agent a1.sources r1 a1.sinks k1 a1.channels…

滑動關機代碼bat_BAT面試算法進階--(2) 無重復字符的最長子串(滑動法優化+ASCII碼法)...

一.算法題題目Given a string, find the length of the longest substring without repeating characters.ExampleGiven "abcabcbb", the answer is "abc", which the length is 3.Given "bbbbb", the answer is "b", with the length…

jpa findone怎么用_Jpa VS MyBatis,你用哪個?

經常看到有小伙伴在討論 JPA 和 MyBatis 這兩個孰優孰劣的問題,其實松哥覺得這是一個偽命題,沒必要為這種問題爭個面紅耳赤,每種框架有它存在的道理,也有各自擅長的事情,今天松哥就和大家來聊聊這兩個框架,…