啟動yarn后,其他節點沒有NodeManager

寫在前面:

? ? ? ? 這個問題雖然折磨了我兩天,但是原因特別蠢,可能與各位不一定一樣,我是因為ResourceManager的節點的"/etc/hadoop/workers"文件沒有配置好(沒有配hadoop102和hadoop104),但排查過程可以作參考。

背景:

? ? ? 我是跟著b站的尚硅谷hadoop3.X視頻做的,部署了hadoop102,hadoop103,hadoop104后,按照集群部署規劃,應該是:
hadoop102hadoop103hadoop104
HDFS

NameNode

DataNode

DateNode

SecondaryNameNode

DataNode

YARNNodeManager

ResourceManager

NodeManager

NodeManager

問題:

配置了 /etc/hadoop 下的core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xml文件后,在hadoop102節點上先格式化NameNode,然后啟動HDFS,jps查看也是正常的,然后在hadoop103(配置了ResourceManager的節點)啟動YARN,無報錯信息,jps查看,nodemanager在hadoop103正常啟動,但是hadoop102和hadoop104都沒有nodemanager

排查:

1. 百度yarn部分節點沒有nodemanager,發現問題大概率是yarn-site.xml配置文件沒有配好,Hadoop集群搭建部分結點沒有出現NodeManager問題解決方法icon-default.png?t=N7T8https://blog.csdn.net/weixin_45960843/article/details/119780208,比如內存溢出、cpu核數默認是8,需要自己配置成1或者2,按照文章內容配置之后,未能解決。也有說是需要給節點設置免密的,我之前也已經設置,未能解決。

2. 在嘗試了很多方法之后,轉換思路,需要根據自己報錯信息來排查,問題就變成了查看yarn 的運行日志了,然而我沒有找到這個路徑,不過這是提供了web端的:在瀏覽器中輸入http://hadoop103:8088,可以查看在Tools下面看local logs,去看hadoop103的nodemanager日志,發現竟然是沒有error的,也就是說是正常的,至此,我幾乎沒有別的辦法了,不管如何修改配置文件,其他節點就是沒有nodemanager。

3.靈光一閃下,想到了workers,因為我的hdfs啟動是正常的,也就是hadoop102可以正常交互hadoop103和hadoop104,但是hadoop103只能管到自己,去看了一下103的workers文件,果然問題出在這里。將102的workers分發到103和104,更一下緩存,source /etc/profile,重啟集群,(記得先關掉yarn和hdfs,刪掉每個節點下的data/和logs/,再格式化102->如果data里有重要數據,不要這么搞)問題終于得到解決。

思考:

出問題,應該先去看日志的報錯信息,再根據報錯去排查對應的問題,而不是直接百度,效率太低。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/45022.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/45022.shtml
英文地址,請注明出處:http://en.pswp.cn/web/45022.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

數字圖像處理(實踐篇)四十八 PCA主成分分析降維與圖像重建

目錄 一 PCA 二 實踐 實踐① 實踐② 一 PCA 主成分分析(PCA)是一種常見的數據分析技術,它可以用于降維和特征提取。 PCA 的作用包括以下幾個方面: ①數據降維:PCA 可以將高維數據降維到低維空間中,從而方便后續的數據分析和可視化。可以將具有多個變量的數據集降維…

P1850換教室 題解(概率dp)

題目:https://www.luogu.com.cn/problem/P1850 思路: 概率dp,如果要求最小路徑期望,我們要確定的有選了幾節課,申請換了幾節課,最后一節是否申請換課(下一次選課要知道上一次選課申請情況)。 …

小白學webgl合集-三維數據源和格式

大多數地圖瓦片數據是二維的,三維效果通過渲染和樣式設置實現。主要的三維數據源和格式包括: 1. 3D Tiles (CesiumJS) 3D Tiles 是一種開放標準,用于流式傳輸和可視化大規模三維地理數據。它可以包含各種三維數據,如建筑物、點云…

循環結構(二)——while語句【互三互三】

文章目錄 🍁引言 🍁一、語句格式 🍁二、語句執行過程 🍁三、格式舉例 🍁四、例題 👉【例1】 💎【示例代碼】 👉【例2】 🚀【方法1】: &#x1f48e…

運維的操作紅線

1. 無工單、郵件的任何操作,嚴禁執行。 2. 工單標題和內容不一致或工單內容超出現場范圍禁止操作。 3. 操作前必須確定資產信息:機柜號、U位、資產號、sn 號、ip。 4. 機柜后門操作設備,必須多次執行第 3 條紅線。 5. 嚴禁操作、觸碰工單指定…

【Java伴學筆記】Day-02 變量|計算機的存儲方式|數據類型|標識符|鍵盤輸入流

一、變量 在Java中,變量用于存儲數據值,可以是數字、文本或其他類型的信息。Java中的變量必須聲明后才能使用,并且每個變量都有特定的類型。下面是一些基本的變量使用示例: 聲明一個整型變量并賦值: int myNumber; …

企業如何選擇渲染農場?渲染100邀請碼1a12

渲染農場能降低企業成本,幫助企業更好的服務客戶,那么如何選擇渲染農場呢?又有什么標準?這次我們就來看下。 1、渲染性能 渲染性能是衡量農場優劣的重要指標,性能越好農場越優質,性能主要包括渲染速度、穩…

一文快速接入銀行卡識別API

銀行卡識別API 能通過機器學習和圖像識別技術來解析銀行卡相關信息,根據用戶上傳卡片自動識別內容,返回該卡的卡號、所屬銀行及銀行類型等信息。可以在用戶需要輸入銀行卡等相關信息時使用該功能,幫助用戶快速輸入正確信息,簡化用…

VPX3U架構+GPU景嘉微:基于飛騰處理器的全國產化刀片式板卡

近期承接了客戶一個全國產的VPX3U的項目。搭載的飛騰FT2000系列處理器的VPX3U板卡。服務于某某部門。這款產品擁有全國產化及自主可控的硬件技術。以下是基于飛騰FT2000處理器的VPX3U主板的一些特點: ①飛騰FT2000系列處理器 處理器:板卡兼容飛騰FT2000…

【觸摸屏】【紅十字會學習系統】功能模塊:視頻 + AI拍照合成

項目背景 提升公眾急救能力:確保每個人都能在緊急情況下采取正確的急救措施,減少傷害,挽救生命。培養人道主義價值觀:通過教育和培訓,傳播紅十字精神,促進社會對弱勢群體的關注與支持。建立社區響應網絡&a…

java同步塊介紹

在多線程編程中,同步塊(synchronized block)用于保護代碼塊,使得同一時間只有一個線程能夠執行該代碼塊,從而避免并發問題。同步塊使用一個對象作為鎖,確保在同步塊內對共享資源的訪問是線程安全的。 1. 什么是同步塊? 同步塊是 Java 中的一種同步機制,用于保護代碼塊…

【Linux】進程間通信(IPC)——匿名管道

目錄 為什么要進行進程間通信? 匿名管道的具體實現 pipe創建內存級文件形成管道 pipe的簡單使用 匿名管道的四種情況和五種特性 四種情況 五種特性 PIPE_BUF 命令行管道 | 功能代碼:創建進程池 為什么要進行進程間通信? 1.數據傳輸&…

第五天安全筆記(持續更新)

第五天防御筆記 NAT種類: 靜態NAT動態NATNapt 特點: 一對多----easy ip 多對多的napt 服務器的映射關系: 1.源NAT----基于IP地址進行轉換,包括靜態NAT,動態NAT,以及NAPT 2.目標NAT---基于目標IP地址進行轉換&a…

[筆記.AI]AI Agent理解(LLM AI Agent)

前幾天看到一個圖,感覺能幫助理解 AI Agent 的基本思想和原理,特摘過來備忘。順道加上自己目前對相關部分的理解,不一定對,權當做個記錄。 另外,專門查了下圖的來源,應該是源自 Lilian Weng 的博客文章《…

Android Studio啟動報錯:The emulator process for AVD Pixel_5_API_30 has terminated

Android Studio啟動AVD報錯: The emulator process for AVD Pixel_5_API_30 has terminated. 原因:安裝時使用自定義安裝后,修改了默認安裝目錄。 而avd文件默認在 C:\Users\用戶名\.android 目錄下。所以導致打開AVD時報錯。 解決方法&am…

SadTalker數字人服務器部署

一、單獨SadTalker部署 git clone https://github.com/OpenTalker/SadTalker.gitcd SadTalker conda create -n sadtalker python3.8conda activate sadtalkerpip install torch1.12.1cu113 torchvision0.13.1cu113 torchaudio0.12.1 --extra-index-url https://download.pyto…

切換node版本

一、在Linux上切換Node.js版本有多種實現方法: 1.使用nvm(Node Version Manager): 安裝nvm:可以通過curl或wget來安裝nvm,具體請參考nvm的官方文檔。 安裝不同版本的Node.js:使用nvm可以輕松…

快速上手綠聯私有云UGOS Pro系統Docker | 安裝/部署/管理/docker-compose一網打盡

快速上手綠聯私有云UGOS Pro系統Docker | 安裝/部署/管理/docker-compose一網打盡 哈嘍小伙伴們好,我是Stark-C~ 因為眾所周知的原因,關于最新發布的綠聯私有云UGOS Pro系統咱這里也不過多說,不過有一點不可否認:新系統專業性更…

用python寫一個基于ai agent協同供應鏈管理流程的案例

要實現一個基于AI Agent的協同供應鏈管理流程,我們可以參考以下步驟: 1. 首先,定義一個類SupplyChainManager,用于模擬供應鏈管理系統的功能。 python class SupplyChainManager: def __init__(self): self.warehouse Warehous…

代碼隨想錄第51天|單調棧

42. 接雨水 參考 思路1: 暴力解法 找每個柱子的左右高度超時 O(N^2) 思路2: 雙指針優化 class Solution { public:int trap(vector<int>& height) {vector<int> lheight(height.size(), 0);vector<int> rheight(height.size(), 0);lheight[0] hei…