spark鏈接hive時踩的坑

? ? ? ? 使用spark操作hive,使用metastore連接hive,獲取hive的數據庫時,當我們在spark中創建數據庫的時候,創建成功。

????????同時hive中也可以看到這個數據庫,建表插入數據也沒有問題,但是當我們去查詢數據庫中的數據時,發現查不到數據,去查hive的元數據,發現,spark在創建數據庫的時候將數據庫創建在了本地文件系統中

????????而我們的hive數據是存放在hdfs上的,我們的spark進行查詢數據時是使用hive的metastore連接的hive的數據庫,也就是spark會從hdfs上讀取數據,所以無論怎么查詢都是查不出來數據的

????????當我們按照這個路徑去我們本地文件系統中查找這個路徑的時候,就可以看到

這個數據庫,如果沒有,可能是spark創建在了其他的服務器節點上?。

如何解決這個問題呢?

????????只需要在spark的配置文件中指定spark的數據存儲位置為hdfs上即可

????????在spark的conf目錄下找到spark-defaults.conf文件,在文件中添加

????????spark.sql.warehouse.dir hdfs的路徑(hive的路徑)

還有另一種方法(慎用)

????????在創建數據庫的時候,在后面加上:localtion hdfs路徑/數據庫名.db

????????該方法雖然也可以將spark創建的數據庫放入到hdfs上,但是在創建的時候,它會清空該文件夾下的所有數據,所以若使用此方法創建,需要設置為一個空文件夾

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/208610.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/208610.shtml
英文地址,請注明出處:http://en.pswp.cn/news/208610.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

IDEA 出現問題:Idea-操作多次commit,如何合并為一個并push解決方案

??作者主頁:小虛竹 ??作者簡介:大家好,我是小虛竹。2022年度博客之星評選TOP 10🏆,Java領域優質創作者🏆,CSDN博客專家🏆,華為云享專家🏆,掘金年度人氣作…

Python---繼承

1、什么是繼承 我們接下來來聊聊Python代碼中的“繼承”:類是用來描述現實世界中同一組事務的共有特性的抽象模型,但是類也有上下級和范圍之分,比如:生物 > 動物 > 哺乳動物 > 靈長型動物 > 人類 > 黃種人 從哲學…

prometheus服務發現之consul

文章目錄 前言一、Consul 在這里的作用二、原理三、實現過程安裝 consul節點信息(exporter)注冊進去consul節點信息(exporter)從consul解除注冊:prometheus配置consul地址 總結 前言 我們平時使用 prometheus 收集監控…

接口的性能優化(從前端、后端、數據庫三個角度分析)

接口的性能優化(前端、后端、數據庫) 主要通過三方面進行優化 前端后端數據庫 前端優化 接口拆分 不要搞一個大而全的接口,要區分核心與非核心的接口,不然核心接口就會被非核心接口拖累 或者一個接口中大部分返回都很快&…

通過rc.local開機自啟執行nohup命令運行Flask,nohup.out中沒有Flask請求響應日志

需求 通過修改/etc/rc.d/rc.local,實現開機自啟Flask服務,CentOS 7.9。rc.local參考鏈接1,參考鏈接2。 問題 在/etc/rc.d/rc.local中添加 /home/python/face_jiance/kaijiziqi.sh 在/home/python/face_jiance/kaijiziqi.sh中寫 nohup /…

數據可視化軟件的興起:背后的驅動力

在當今信息時代,數據變得比以往任何時候都更為重要。數據可視化軟件的廣泛應用成為了一種趨勢。那么,為什么越來越多的人選擇使用數據可視化軟件呢?今天我就以自己的工作經驗為基礎,進行簡單的分析。 數據可視化軟件能將枯燥的數…

react-lazyload 的介紹、安裝、使用。

目錄 基本介紹 安裝 使用 基本使用 詳細屬性 基本介紹 react-lazyload 是一個 React 組件,用于延遲加載(懶加載)頁面上的圖片或其他資源。懶加載是一種優化手段,它允許頁面在初次加載時只加載可視區域內的內容,…

【Harmony】鴻蒙操作系統架構

目錄 導論 第一部分:內核與核心組件 1.1 鴻蒙微內核的設計 1.2 分布式能力的強化 1.3 HarmonyOS的分層架構 1.4 分布式數據管理 第二部分:鴻蒙的核心能力 2.1 華為 ARK Compiler的引入 2.2 分布式圖形界面的實現 2.3 統一的設備驅動框架 2.4 輕…

vue3移動端腳手架(純凈,集成豐富)

概述 一個純凈的移動端框架 ,用到了 Vue3 vuex Vite3 Vant3 sass eslint stylelint htmlhint husky commitlint axios axios-adapter VConsole 自定義全局 loading ,自定義函數式 dialog (api模仿微信小程序)&#x…

增強現實中的真實人/機/環與虛擬人/機/環

在增強現實中,真實人與虛擬人、真實機器與虛擬機器、真實環境與虛擬環境之間有著密切的關系。增強現實技術通過將真實與虛擬相結合,打破了傳統的現實世界與虛擬世界的界限,創造出了一種新的體驗方式。真實人、真實機器和真實環境與其對應的虛…

linux進入emergency mode

問題描述 linux系統進入emergency mode模式 解決方法 查看問題原因 journalctl -xb -p3 使用fsck 不一定是sda2,也可能是其他,我的是/dev/sda6,然后接受所有的option,完畢后重啟電腦 fsck /dev/sda2接受所有的選項&#xff…

Python與ArcGIS系列(十六)重復節點檢測

目錄 0 簡述1 實例需求2 arcpy開發腳本0 簡述 在處理gis線圖層和面圖層數據時,有時候會遇到這種情況:數據存在重復節點或偽重復節點(兩個節點距離極小),往往我們需要對這種數據進行檢測標注或進行修改。本篇將介紹如何利用arcpy及arcgis的工具箱實現這個功能。 1 實例需求…

Webpack技術入門與實踐

1.概念: 本質上, webpack是一個現代JavaScript應用程序的靜態模塊打包器,當webpack處理應用程序時,它會遞歸地構建一個依賴關系圖,其中包含應用程序需要的每個模塊,然后將所有這些模塊打包成一個或多個bund…

【UE 材質】任務目標點效果

效果 步驟 1. 新建一個工程,創建一個Basic關卡 2. 新建一個材質,這里命名為“M_GoalPoint” 打開“M_GoalPoint”,設置混合模式為“半透明”,勾選“雙面” 在材質圖表中添加如下節點 此時預覽效果如下 繼續添加如下節點 此時效果…

無人機巡檢中臺揭秘,無人機管控平臺助力巡查無人機巡檢方案落地

隨著無人機智能巡檢的飛速發展,巡查無人機應用場景也日益多元,無人機巡檢方案被頻繁落地到工業生產及巡檢巡邏業務中。而無人機管控平臺應運而生,成為推動無人機智能巡檢的關鍵工具。那我們一起來看一下無人機管控平臺的作用: 一、…

微信小程序引入Vant Weapp修改樣式不起作用,使用外部樣式類進行覆蓋

一、引入Vant Weapp后樣式問題 在項目中使用第三方組件修改css樣式時,總是出現各種各樣問題,修改的css樣式不起作用,沒有效果,效果不符合預期等。 栗子(引入一個搜索框組件)實現效果: 左側有一個搜索文字背景為藍色,接著跟一個搜索框 wxml <view class"container&q…

【Python】 Python web開發庫大全

庫排序是按照使用人數和文檔的活躍度為參考進行的&#xff0c;建議大家使用排名靠前的框架&#xff0c;因為它們的文檔更齊全&#xff0c;技術積累要更多&#xff0c;社區更繁盛&#xff0c;能得到更好的支持&#xff0c;這樣在遇到自己無法解決的問題&#xff0c;可以更快更高…

數據結構:單鏈表——定義、插入、刪除

1、定義 注&#xff0c;以下都是帶頭節點的單鏈表 typedef struct LNode {ElementType data;struct LNode *next; }LNode,*LinkList;bool InitList(LinkList &L){L (LNode *)malloc(sizeof(LNode));if(LNULL){//內存不足return false;}L->nextNULL;return true; }這里…

Mint Blockchain,一個聚焦在 NFT 領域的 L2 網絡

Mint 是什么&#xff1f; Mint 是一個聚焦在 NFT 領域的創新型 L2 網絡。Mint Blockchain 致力于促進 NFT 資產協議標準的創新和現實商業場景中 NFT 資產的大規模采用。 不管是過去 3 年在以太坊網絡涌現的 NFT&#xff0c;還是當下在比特幣網絡活躍的“銘文” NFT&#xff0c…

通信協議 遠程調用RPC

1.通訊協議 所有的HDFS通訊協議都是建立在TCP/IP協議之上。 客戶端通過一個可配置的TCP端口連接到Namenode&#xff0c;通過ClientProtocol協議與Namenode交 互。而Datanode使用DatanodeProtocol協議與Namenode交互。 一個遠程過程調用(RPC)模型被抽象出來封裝ClientProtoc…