實現說明每一個用戶的環境都有細微的不一致,所以這里只是個人經過這些坑的處理,但是不意味著所有處理都是這樣的操作,僅作為參考。
第一個坑
數據庫安裝,數據庫最好裝在Linux上,一直出了很多錯,這里有一個博客可以很好安裝,地址:https://www.cnblogs.com/julyme/p/5969626.html
博客描述的是使用yum源的方式下載MySQL安裝,不需要特別多的配置,一路next就可以安裝完成,注意默認沒有密碼
第二個坑
The reported blocks 0 needs additional 42 blocks to reach the threshold 0.9990 of total blocks 42.
Hadoop啟動的時候進入安全模式,為了檢查數據是否完整,這個時候無法向HDFS中寫入數據,所以hive啟動報錯,重新啟動下Hadoop就可以了
第三個坑
hive> show databases;
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
hive> create database test_db;
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
在使用顯示數據庫或者創建數據庫的時候,報錯,首先使用
./hive -hiveconf hive.root.logger=DEBUG,console
查看詳細的日志信息,根據日志信息處理,我的主要錯誤是沒有放數據庫驅動jar包,由于HIVE元數據需要放到MySQL數據庫里面,所以需要存放連接數據庫的驅動jar包