基于VM虛擬機下Ubuntu18.04系統,Hadoop的安裝與詳細配置

參考博客:

https://blog.csdn.net/duchenlong/article/details/114597944

與上面這個博客幾乎差不多,就是java環境配置以及后面的hadoop的hdfs-site.xml文件有一些不同的地方。?

準備工作

1.更新

# 更新
sudo apt update
sudo apt upgrade

2.關閉防火墻( 不用單獨開辟端口)

sudo ufw disable

創建Hadoop用戶

# 創建Hadoop用戶,并使用/bin/bash作為shell
sudo useradd -m hadoop -s /bin/bash# 為Hadoop設置登錄密碼
sudo passwd hadoop# 增加管理員權限
sudo adduser hadoop sudo

創建一個Hadoop用戶,是因為可以避免Hadoop在運行的過程中影響到其他用戶的正常使用。

增加管理員權限可以避免Hadoop在運行時,出現一些權限的問題,比如在一些目錄下創建文件等。

如何后續的安裝在hadoop用戶下進行

# 切換為 Hadoop用戶
su hadoop

或者退出當前用戶:

方法一:使用快捷鍵Ctrl+D組合鍵

方法二:在終端中輸入$exit或者$logout命令,然后按下回車鍵就可退出當前用戶會話

安裝Java?

如果安裝的Hadoop是2.*版本的,那么需要安裝的java版本最好是1.8,默認安裝的是11,在配置偽分布式節點時會報一些警告

sudo apt install openjdk-8-jdk

配置環境變量( Ctrl + s 保存,Ctrl + x 退出)

nano ~/.bashrc

在結尾添加

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

然后更新環境變量

# 更新環境變量
source ~/.bashrc

查看是否安裝成功,以及java的版本信息

# 查看是否安裝成功
whereis java# java的版本信息
java-version# 環境變量是否導入成功
echo $JAVA_HOME

?

設置ssh免密登錄

# 登錄localhost
ssh localhost

(忘記直接截圖在哪了,放上面博客博主的圖吧,操作一樣)

然后會在~/目錄下發現一個.ssh文件。

配置秘鑰,免密登錄

# 到.ssh 目錄下
cd ~/.sshssh-keygen -t rsa

# 加入授權
cat ./id_rsa.pub >> ./authorized_keys

再次輸入$ssh localhost不需要密碼的話,就是配置成功了

Hadoop下載安裝

安裝地址:https://blog.csdn.net/m0_62110645/article/details/134403165?spm=1001.2014.3001.5502

我是使用共享文件夾安裝的:

在在virtualbox的ubuntu虛擬機上設置共享文件夾步驟:

1.設置共享文件夾

自行設定共享文件夾路徑以及名稱,記得勾選自動掛載(A),運行虛擬機的時候才會自動加載該文件夾。

# 將hadoop 壓縮包在/usr/local 目錄下解壓
sudo tar -zxvf hadoop-2.10.1.tar.gz -C /usr/local/# 進入該目錄
cd /usr/local# 更新名字文hadoop
sudo mv ./hadoop-2.10.1/ ./hadoop# 修改文件權限
sudo chown -R hadoop ./hadoop 

?配置java環境變量在hadoop中

# 進入配置文件目錄
cd /usr/local/hadoop/etc/hadoop# 打開文件
nano hadoop-env.sh

查看hadoop版本信息?

# 進入bin目錄
cd /usr/local/hadoop/bin./hadoop version

?

?

偽分布式安裝

# 進入配置文件的目錄
cd /usr/local/hadoop/etc/hadoop

?需要修改的兩個文件core-site.xmlhdfs-site.xml文件

修改core-site.xml文件為:

nano core-site.xml
<configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>

修改hdfs-site.xml文件為:

nano hdfs-site.xml
<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property><property><name>dfs.http.address</name><value>localhost:50070</value></property>
</configuration>

這里我直接是localhost:50070,在自己主機上訪問。因為我按教程來,但是得不到一樣的結果,就啟動不出教程192.168.*的界面。后來經過四處搜索方法。在終端輸入$ifconfig,顯示我的是10.0.2.15 。

嘗試過什么修改為橋接網絡等等各種方法,但始終不成功,所以我干脆修改為只在自己主機運行。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/161611.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/161611.shtml
英文地址,請注明出處:http://en.pswp.cn/news/161611.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

MS2401隔離Σ-Δ調制器,可替代ADI的AD7401

產品簡述 MS2401 是一款二階 Σ-Δ 調制器&#xff0c;集成片上數字隔離器&#xff0c;能 將模擬輸入信號轉換為高速 1 位碼流。調制器對輸入信號連續 采樣&#xff0c;無需外部采樣保持電路。模擬信號輸入滿量程為 320 mV &#xff0c;轉換后的數字碼流的最高數據速率為 2…

C++ Boost Thread 編程總結

1.前言 標準C線程即將到來。CUJ預言它將衍生自Boost線程庫&#xff0c;現在就由Bill帶領我們探索一下Boost線程庫。 就在幾年前&#xff0c;用多線程執行程序還是一件非比尋常的事。然而今天互聯網應用服務程序普遍使用多線程來提高與多客戶鏈接時的效率&#xff1b;為了達到最…

統計voc格式數據中的xml標簽、bndbox到excel表格中

有這么個需求是將xml的內容: 1,filename 2.label 3.bndbox:xmin,xmax,ymin,ymax。 … 將這些東西寫入excel表格中,方便我統計標簽數量和框的分布! 于是撰寫了腳本:xml2csv.py 我的xml文件形式如下。大家的目標檢測格式大同小異! <annotation><folder>UAV_d…

【MySQL】多表查詢、子查詢、自連接、合并查詢詳解,包含大量示例,包你會。

復合查詢 前言正式開始一些開胃菜多表查詢自連接子查詢單行子查詢多行子查詢in關鍵字all關鍵字any關鍵字多列子查詢在from中使用子查詢 合并查詢union 和 union all 前言 我前面博客講的所有的查詢都是在單表中進行的&#xff0c;從這里開始就要專門針對查詢這個話題進行進一步…

ansible學習

一文掌握 Ansible 自動化運維 - 知乎 ansible的安裝與簡單的使用_堅持到所有人都放棄!!!的技術博客_51CTO博客

GIT | 基礎操作 | 初始化 | 添加文件 | 修改文件 | 版本回退 | 撤銷修改 | 刪除文件

GIT | 基礎操作 | 初始化 | 添加文件 | 修改文件 | 版本回退 | 撤銷修改 | 刪除文件 文章目錄 GIT | 基礎操作 | 初始化 | 添加文件 | 修改文件 | 版本回退 | 撤銷修改 | 刪除文件前言一、安裝git二、git基本操作2.1 初始化git2.2 配置局部生效2.3 配置全局生效 三、認識工作區…

淺談堆和棧內存以及編程語言

淺談堆和棧內存以及編程語言 棧和堆C 和 C# 的區別&#xff1a;C#總結 編程語言C匯編語言&#xff08;Assembly Language&#xff09;&#xff1a;機器語言&#xff08;Machine Language&#xff09;&#xff1a; 拓展C#依賴注入&#xff08;Dependency Injection&#xff09;模…

2018年全國碩士研究生入學統一考試管理類專業學位聯考數學試題——解析版

文章目錄 2018 年考研管理類聯考數學真題一、問題求解&#xff08;本大題共 5 小題&#xff0c;每小題 3 分&#xff0c;共 45 分&#xff09;下列每題給出 5 個選項中&#xff0c;只有一個是符合要求的&#xff0c;請在答題卡上將所選擇的字母涂黑。真題&#xff08;2018-01&a…

DRF-項目-(1):構建純凈版的drf項目,不再使用django的后臺管理,django的認證,django的session等功能,作為一個純接口項目

項目的目錄結構&#xff1a; -HeartFailure |-- apps |--user |--HeartFailure |-- static |--manage.py 一、django項目相關的 1、命令行中創建django項目 #1、切換到指定的虛擬環境中 workon my_drf#2、該虛擬環境已經安裝好django和rest_framework了 django-admin startp…

補充:linux rsyslog配置多端口監聽(基于UDP)

rsyslog默認udp監聽端口為514,我們可以配置rsyslog基于udp的多端口監聽,實現監控的豐富性 1.環境信息 環境信息 HostnameIpAddressOS versionModuleNotersyslog1192.168.10.246Red Hat Enterprise Linux Server release 7.7 (Maipo)rsyslogd 8.24.0-38.el7linux基礎配置 Li…

④【Set】Redis常用數據類型: Set [使用手冊]

個人簡介&#xff1a;Java領域新星創作者&#xff1b;阿里云技術博主、星級博主、專家博主&#xff1b;正在Java學習的路上摸爬滾打&#xff0c;記錄學習的過程~ 個人主頁&#xff1a;.29.的博客 學習社區&#xff1a;進去逛一逛~ Redis Set ④Redis Set 操作命令匯總1. sadd …

mysql的聯合索引最左匹配原則問題

MySQL的聯合索引 聯合索引的最左匹配原則會一直向右匹配直到遇到范圍查詢(>、<、between、like) 就會停止匹配。 這個結論并不全對&#xff01;去掉 「between 和 like 」這個結論就沒問題了 經過實驗的證明&#xff0c;我得出的結論是這樣的&#xff1a; 聯合索引的最…

【計算機網絡學習之路】TCP socket編程

文章目錄 前言一. 服務器1. 初始化服務器2. 啟動服務器 二. 客戶端三. 多進程服務器結束語 前言 本系列文章是計算機網絡學習的筆記&#xff0c;歡迎大佬們閱讀&#xff0c;糾錯&#xff0c;分享相關知識。希望可以與你共同進步。 本篇博客基于UDP socket基礎&#xff0c;介紹…

Oracle的控制文件多路復用,控制文件備份,控制文件手工恢復

一.配置控制文件多路復用 1.查詢Oracle的控制文件所在位置 SQL> select name from v$controlfile;NAME -------------------------------------------------------------------------------- /u01/app/oracle/oradata/orcl/control01.ctl /u01/app/oracle/fast_recovery_a…

【docker】docker總結

一、Docker簡介 Docker是開源應用容器引擎&#xff0c;輕量級容器技術。基于Go語言&#xff0c;并遵循Apache2.0協議開源Docker可以讓開發者打包他們的應用以及依賴包到一個輕量級、可移植的容器中&#xff0c;然后發布到任何流行的Linux系統上&#xff0c;也可以實現虛擬化容…

No matching variant of com.android.tools.build:gradle:7.4.2 was found.

一、報錯信息 創建個新項目&#xff0c;運行直接報錯&#xff0c;信息如下&#xff1a; No matching variant of com.android.tools.build:gradle:7.4.2 was found. The consumer was configured to find a runtime of a library compatible with Java 8, packaged as a jar,…

shell 條件語句

目錄 測試 test測試文件的表達式 是否成立 格式 選項 比較整數數值 格式 選項 字符串比較 常用的測試操作符 格式 邏輯測試 格式 且 &#xff08;全真才為真&#xff09; 或 &#xff08;一真即為真&#xff09; 常見條件 雙中括號 [[ expression ]] 用法 &…

springboot啟動過程

1、SpringApplication new一個對象會優先調用initialize方法 public SpringApplication(Object... sources) {initialize(sources); } private void initialize(Object[] sources) {//添加配置類SpringBootApplicationif (sources ! null && sources.length > 0) …

關于一些bug的解決1、el-input的輸入無效2、搜索之后發現數據不對3、el多選框、單選框點擊無用4、

el-input輸入無效 原來的代碼是 var test null 但是我發現不能輸入任何值 反倒修改test的初始值為123是可以的 于是我確定綁定沒問題 就是修改的問題 于是改成 var test ref&#xff08;&#xff09; v-model綁定的值改成test.value就可以了 因為ref是相應式的 可以通過輸入…

【算法】奇偶游戲(帶權并查集)

題目 小 A 和小 B 在玩一個游戲。 首先&#xff0c;小 A 寫了一個由 0 和 1 組成的序列 S&#xff0c;長度為 N。 然后&#xff0c;小 B 向小 A 提出了 M 個問題。 在每個問題中&#xff0c;小 B 指定兩個數 l 和 r&#xff0c;小 A 回答 S[l~r] 中有奇數個 1 還是偶數個 …