hadoop完整安裝教程(附帶jdk1.8+vim+ssh安裝)

????????本篇帶領大家在uabntu20虛擬機上安裝hadoop,其中還包括jdk1.8、ssh、vim的安裝教程,(可能是)史上最全的安裝教程!!!若有疑問可以在評論區或者私信作者。建議在虛擬機上觀看此博客,便于復制粘貼。同時要注意自己設置的用戶名是否與本篇博客的用戶名相同,若不同的話請注意自己修改。


一、創建hadoop用戶并且提高權限

  • sudo useradd -m hadoop -s /bin/bash
  • sudo passwd hadoop
  • sudo adduser hadoop sudo

二、更新apt

1.切換到hadoop用戶

先重啟虛擬機,在切換hadoop用戶,更新系統權限

2.更新apt

  • sudo apt-get update?

3.下載vim用戶修改文件

  • sudo apt-get install vim

  • 繼續執行,輸入y?


三、下載ssh

1.下載ssh

  • sudo apt-get install openssh-server

  • 輸入y進行安裝

2.在本機登錄ssh

  • ssh localhost?
(1)輸入yes并設置密碼

(2)推薦設置成無密碼,接著上一步繼續輸入即可
  • exit ? ? ? ? ? ? ? ? ? ? ? ? ? # 退出剛才的 ssh localhost
  • cd ~/.ssh/ ? ? ? ? ? ? ? ? ? ? # 若沒有該目錄,請先執行一次ssh localhost
  • ssh-keygen -t rsa ? ? ? ? ? ? ?# 會有提示,都按回車就可以
  • cat ./id_rsa.pub >> ./authorized_keys ?# 加入授權?


四、安裝jdk1.8

1.安裝

  • sudo apt install openjdk-8-jdk -y

2.驗證

  • java -version
  • javac -version


五、安裝hadoop

1.安裝hadoop

  • wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.4.1/hadoop-3.4.1.tar.gz -P ~/Downloads

也可以在鏡像網站選擇你想要的版本更換在路徑上

Index of /apache/hadoop/common

?2.解壓并移動到/usr/local

  • cd ~/Downloads
  • sudo tar -zxvf hadoop-3.4.1.tar.gz -C /usr/local
  • cd /usr/local
  • sudo mv hadoop-3.4.1 hadoop
  • sudo chown -R hadoop?/usr/local/hadoop


?3.查看jdk安裝路徑

  • readlink -f $(which java)

  • nano ~/.bashrc

將下面的代碼寫入文件,ctrl+o保存-回車確認-ctrl+x退出

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64(你的java實際路徑)
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop?

保存并執行

  • source ~/.bashrc

六、配置 Hadoop 文件

1. hadoop-env.sh文件

  • nano $HADOOP_HOME/etc/hadoop/hadoop-env.sh

找到這一行:

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

填入你 Java 的安裝路徑,比如:

/usr/lib/jvm/java-8-openjdk-amd64

2. core-site.xml文件

  • nano $HADOOP_HOME/etc/hadoop/core-site.xml

添加內容如下:

<configuration>
? <property>
? ? <name>fs.defaultFS</name>
? ? <value>hdfs://localhost:9000</value>
? </property>
</configuration>

3. hdfs-site.xml文件

  • nano $HADOOP_HOME/etc/hadoop/hdfs-site.xml

內容如下:

<configuration>
? <property>
? ? <name>dfs.replication</name>
? ? <value>1</value>
? </property>
? <property>
? ? <name>dfs.namenode.name.dir</name>
? ? <value>file:/home/hadoop/hadoopdata/hdfs/namenode</value>
? </property>
? <property>
? ? <name>dfs.datanode.data.dir</name>
? ? <value>file:/home/hadoop/hadoopdata/hdfs/datanode</value>
? </property>
</configuration>

創建對應目錄:

  • mkdir -p ~/hadoopdata/hdfs/namenode
  • mkdir -p ~/hadoopdata/hdfs/datanode


七、啟動 Hadoop

1. 格式化 HDFS

  • hdfs namenode -format

如果看到 Successfully formatted,說明格式化成功。或者啟動一下試試

2. 啟動服務

  • start-dfs.sh start-yarn.sh

使用 jps 查看進程:

  • jps

你應該能看到:NameNodeDataNodeResourceManagerNodeManager 等進程。

?

  • 輸入圖片中其他的命令,用于測試文件系統功能

八、訪問 Hadoop Web UI

  • HDFS 管理界面:http://localhost:9870

  • YARN 管理界面:http://localhost:8088


????????若安裝中出現了問題,可以在評論區討論或者私信作者。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/pingmian/83202.shtml
繁體地址,請注明出處:http://hk.pswp.cn/pingmian/83202.shtml
英文地址,請注明出處:http://en.pswp.cn/pingmian/83202.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Flutter、React Native、Unity 下的 iOS 性能與調試實踐:兼容性挑戰與應對策略(含 KeyMob 工具經驗)

移動端跨平臺開發逐漸成為常態&#xff0c;Flutter、React Native、Unity、Hybrid App 等框架在各類 iOS 項目中頻繁出現。但隨之而來的&#xff0c;是一系列在 iOS 設備上調試難、性能數據采集難、日志整合難的問題。 今天這篇文章&#xff0c;我從實際項目出發&#xff0c;聊…

PyCharm接入DeepSeek,實現高效AI編程

介紹本土AI工具DeepSeek如何結合PyCharm同樣實現該功能。 一 DeepSeek API申請 首先進入DeepSeek官網&#xff1a;DeepSeek 官網 接著點擊右上角的 “API 開放平臺“ 然后點擊API keys 創建好的API key&#xff0c;記得復制保存好 二 pycharm 接入deepseek 首先打開PyCh…

Cinnamon開始菜單(1):獲取應用數據

看了半天&#xff1a;/usr/share/cinnamon/applets/menucinnamon.org&#xff0c;終于挖到了精髓。 Cinnamon.AppSystem.get_default() 獲取系統應用數據 get_tree() 獲取樹機構 get_root_directory() 獲取根目錄 iter() 遍歷 get_name() 獲取名稱 get_desktop_file_id()…

git reset --hard HEAD~1與git reset --hard origin/xxx

git reset --hard HEAD~1與git reset --hard origin/xxx git reset --hard origin/xxx有時候會太長&#xff0c;手工輸入略微繁瑣&#xff0c;可以考慮&#xff1a; git reset --hard HEAD~1 替代。 或者使用這種方式 git reset撤銷當前分支所有修改&#xff0c;恢復到最近一…

鴻蒙OSUniApp PWA開發實踐:打造跨平臺漸進式應用#三方框架 #Uniapp

UniApp PWA開發實踐&#xff1a;打造跨平臺漸進式應用 前言 在過去的一年里&#xff0c;我們團隊一直在探索如何利用UniApp框架開發高性能的PWA應用。特別是隨著鴻蒙系統的普及&#xff0c;我們積累了不少有價值的實踐經驗。本文將分享我們在開發過程中的技術選型、架構設計和…

ansible自動化playbook簡單實踐

方法一&#xff1a;部分使用ansible 基于現有的nginx配置文件&#xff0c;定制部署nginx軟件&#xff0c;將我們的知識進行整合 定制要求&#xff1a; 啟動用戶&#xff1a;nginx-test&#xff0c;uid是82&#xff0c;系統用戶&#xff0c;不能登錄 啟動端口82 web項目根目錄/…

【Office】Excel兩列數據比較方法總結

在Excel中&#xff0c;比較兩列數據是否相等有多種方法&#xff0c;以下是常用的幾種方式&#xff1a; 方法1&#xff1a;使用公式&#xff08;返回TRUE/FALSE&#xff09; 在空白列&#xff08;如C列&#xff09;輸入公式&#xff0c;向下填充即可逐行比較兩列&#xff08;如…

day 42

知識點回顧 1.回調函數 2.lambda函數 3.hook函數的模塊鉤子和張量鉤子 4.Grad-CAM的示例 一。回調函數示例 Hook本質是回調函數&#xff0c;所以我們先介紹一下回調函數。回調函數是作為參數傳遞給其他函數的函數&#xff0c;其目的是在某個特定事件發生時被調用執行。這…

10.安卓逆向2-frida hook技術-frida基本使用-frida指令(用于hook)

免責聲明&#xff1a;內容僅供學習參考&#xff0c;請合法利用知識&#xff0c;禁止進行違法犯罪活動&#xff01; 內容參考于&#xff1a;圖靈Python學院 工具下載&#xff1a; 鏈接&#xff1a;https://pan.baidu.com/s/1bb8NhJc9eTuLzQr39lF55Q?pwdzy89 提取碼&#xff1…

LLM-MPC混合架構:車載大語言模型用來增強自動駕駛系統

1. 概述 2025年&#xff0c;蘇黎世研究團隊在RSS2025會議上正式提出「LLM-MPC混合架構」&#xff0c;標志著大語言模型&#xff08;LLM&#xff09;在自動駕駛系統中的實用化邁出關鍵一步。該方案旨在解決傳統深度學習模型在極端交通場景中泛化能力不足的問題。通過在車載終端…

解釋k8s種ConfigMap和Secret的作用,如何在Pod中掛載環境變

一、ConfigMap & Secret 核心定位 屬于Kubernetes的配置管理特性&#xff0c;用于解耦應用與配置 1. ConfigMap 作用&#xff1a;存儲非敏感配置數據 存儲內容&#xff1a; 環境變量命令行參數配置文件&#xff08;如JSON/XML/YAML&#xff09;系統參數&#xff08;如J…

Android --- ObjectAnimator 和 TranslateAnimation有什么區別

文章目錄 2. 作用范圍和功能2. 動畫表現3. 是否修改 View 的屬性4. 適用場景5. 性能總結&#xff1a; ObjectAnimator 和 TranslateAnimation 都是 Android 中常用的動畫類型&#xff0c;但它們有以下幾個關鍵的區別&#xff1a; 2. 作用范圍和功能 ObjectAnimator&#xff1a…

3d GIS數據來源與編輯工具

1、衛星遙感 2、航空攝影測量 3、地面實測技術 全站儀 3維掃描 3D GIS數據制作全流程詳解 一、數據采集&#xff1a;多源數據獲取 3D GIS數據的制作需從多維度采集地理空間信息&#xff0c;以下是主要采集方式及適用場景&#xff1a; &#xff08;一&#xff09;遙感與航測…

實驗設計與分析(第6版,Montgomery)第4章隨機化區組,拉丁方, 及有關設計4.5節思考題4.26~4.27 R語言解題

本文是實驗設計與分析&#xff08;第6版&#xff0c;Montgomery著&#xff0c;傅玨生譯) 第章隨機化區組&#xff0c;拉丁方&#xff0c; 及有關設計4.5節思考題4.26~4.27 R語言解題。主要涉及方差分析&#xff0c;正交拉丁方。 batch <- c(rep("batch1",5), rep(…

linux創建虛擬網卡和配置多ip

1.展示當前網卡信息列表&#xff1a; linux上&#xff1a; ip a ifconfigwindows上&#xff1a; ipconfig 2.創建虛擬網卡對&#xff1a; sudo ip link add name veth0 type veth peer name veth1 在 ip link add 命令中&#xff0c;type 參數可以指定多種虛擬網絡設備類型&…

分布式項目保證消息冪等性的常見策略

Hello&#xff0c;大家好&#xff0c;我是灰小猿&#xff01; 在分布式系統中&#xff0c;由于各個服務之間獨立部署&#xff0c;各個服務之間依靠遠程調用完成通信&#xff0c;再加上面對用戶重復點擊時的重復請求等情況&#xff0c;所以如何保證消息消費的冪等性是在分布式或…

微信小程序(uniapp)對接騰訊云IM

UniApp 對接騰訊云 IM&#xff08;即時通訊&#xff09;完整指南 一、項目背景與需求分析 隨著社交場景的普及&#xff0c;即時通訊功能已成為移動應用的標配。騰訊云 IM&#xff08;Tencent IM&#xff0c;即 TIM&#xff09;提供穩定可靠的即時通訊服務&#xff0c;支持單聊…

Portainer安裝指南:多節點監控的docker管理面板-家庭云計算專家

背景 Portainer 是一個輕量級且功能強大的容器管理面板&#xff0c;專為 Docker 和 Kubernetes 環境設計。它通過直觀的 Web 界面簡化了容器的部署、管理和監控&#xff0c;即使是非技術用戶也能輕松上手。Portainer 支持多節點管理&#xff0c;允許用戶從一個中央控制臺管理多…

[Redis] Redis命令在Pycharm中的使用

初次學習&#xff0c;如有錯誤還請指正 目錄 String命令 Hash命令 List命令 set命令 SortedSet命令 連接pycharm的過程見&#xff1a;[Redis] 在Linux中安裝Redis并連接桌面客戶端或Pycharm-CSDN博客 redis命令的使用見&#xff1a;[Redis] Redis命令&#xff08;1&#xf…

計算機網絡:物理層

目錄 一、物理層的基本概念 二、物理層下面的傳輸媒體 2.1 導引型傳輸媒體 2.1.1 同軸電纜 2.1.2 雙絞線 2.1.3 光纖 2.1.4 電力線 2.2 非導引型傳輸媒體 2.2.1 無線電波 2.2.2 微波 2.2.3 紅外線 2.2.4 可見光 三、傳輸方式 3.1 串行與并行 3.2 同步與異步 3.…