為什么我的集群一個 Spark Executor / Yarn Container 只分配一個vCore?

在很多集群里,在關閉了Spark的DynamicAllocation的前提下(避免自動申請空閑資源,干擾測試結果),都會觀察到:提交Spark作業時,申請 1 個 driver + n 個 executor 會在Yarn上對應創建 n+1 個 container,但是每個container只有一個vCore,通過--driver-cores--executor-cores設定的vCore數都未奏效。有人會因此錯誤的認為Yarn上的一個vCore對應一個Spark的executor,這是非常錯誤的,正確的關系是:一個Saprk Executor運行在一個Yarn Container里,Executor和Container是一對一的關系。Executor申請的vCore就是Container的vCore,但后半句其實是有條件的,上面描述的就是一種例外。

實際上,上面說的:一個 spark executor / yarn container 只分配一個vCore其實挺常見的,因為這種現象和一個配置項有關,在這個配置項的默認配置下,集群的行為就是這個樣子,所以這種情況出現的概率很大。下面就詳細介紹一下導致這種情況發生的原因和修正方法。

1. 重要結論


在使用Capacity Scheduler的前提下,Yarn有一個配置項:yarn.scheduler.capacity.resource-calculator,它是用來指定使用哪種方法(策略)計算集群資源的,這將決定資源調度器如何為一個作業分配內存和CPU。該配置的默認值是:DefaultResourceCa

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/40790.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/40790.shtml
英文地址,請注明出處:http://en.pswp.cn/news/40790.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Grafana Prometheus 通過JMX監控kafka 【2023最新方式】

第三方kafka exporter方案 目前網上關于使用Prometheus 監控kafka的大部分資料都是使用一個第三方的 kafka exporter,他的原理大概就是啟動一個kafka客戶端,獲取kafka服務器的信息,然后提供一些metric接口供Prometheus使用,隨意它…

docker 安裝mysql8.0

1、拉取鏡像 docker pull mysql2、運行鏡像 docker run -d --restartalways --name mysql --privilegedtrue -p 3306:3306 -v /home/sunyuhua/docker/mysql/data:/var/lib/mysql -v /home/sunyuhua/docker/mysql/conf:/etc/mysql/conf.d -v /home/sunyuhua/docker/mysql/logs…

07_Hudi案例實戰、Flink CDC 實時數據采集、Presto、FineBI 報表可視化等

7.第七章 Hudi案例實戰 7.1 案例架構 7.2 業務數據 7.2.1 客戶信息表 7.2.2 客戶意向表 7.2.3 客戶線索表 7.2.4 線索申訴表 7.2.5 客戶訪問咨詢記錄表 7.3 Flink CDC 實時數據采集 7.3.1 開啟MySQL binlog 7.3.2 環境準備 7.3.3 實時采集數據 7.3.3.1 客戶信息表 7.3.3.2 客戶…

ubuntu安裝jdk、emqx、nginx

一、安裝jdk 要在Ubuntu上安裝JDK 1.8,您可以按照以下步驟進行操作: 打開終端(CtrlAltT)。確保您的系統已更新: sudo apt update sudo apt upgrade安裝OpenJDK 8: sudo apt install openjdk-8-jdk安裝完成…

.net core發布到IIS上出現 HTTP 錯誤 500.19

1.檢查.net core 環境運行環境是否安裝完成,類似如下環境 2.IIS是否安裝全 本次原因就是IIS未安裝全導致的 按照網上說的手動重啟iis(iisreset)也不行

基于C#的消息處理的應用程序 - 開源研究系列文章

今天講講基于C#里的基于消息處理的應用程序的一個例子。 我們知道,Windows操作系統的程序是基于消息處理的。也就是說,程序接收到消息代碼定義,然后根據消息代碼定義去處理對應的操作。前面有一個博文例子( C#程序的啟動顯示方案(無窗口進程發…

【數據結構】 ArrayList簡介與實戰

文章目錄 什么是ArrayListArrayList相關說明 ArrayList使用ArrayList的構造無參構造指定順序表初始容量利用其他 Collection 構建 ArrayListArrayList常見操作獲取list有效元素個數獲取和設置index位置上的元素在list的index位置插入指定元素刪除指定元素刪除list中index位置上…

機器學習基礎(二)

線性回歸 誤差是獨立并且具有相同的分布通常認為服從均值為0方差為的高斯分布。 損失函數(loss Function)/代價函數(Cost Function) 其實兩種叫法都可以,損失函數(loss function)或代價函數(cost function)是將隨機事件或其有關隨機變量的取值映射為非負實數以表示該隨…

Android開發之性能優化:過渡繪制解決方案

1. 過渡繪制 屏幕上某一像素點在一幀中被重復繪制多次,就是過渡繪制。 下圖中多個卡片跌在一起,但是只有第一個卡片是完全可見的。背后的卡片只有部分可見。但是Android系統在繪制時會將下層的卡片進行繪制,接著再將上層的卡片進行繪制。但其…

springcloud3 hystrix實現服務降級的案例配置2

一 服務降級的說明 1.1 服務降級說明 "服務器忙,請稍后在試"不讓客戶達等待,立即返回一個友好的提示。 1.2 服務降級的觸發情況 1.程序運行異常; 2.超時; 3.服務熔斷觸發服務降級;4 .線程池/信號量打…

電商增強現實3D模型優化需要關注的4個方面

到目前為止,AR技術已經發展到足以在更廣泛的范圍內實施。 在電子商務中,這項技術有望提供更令人興奮的購物體驗。 為了實現這一目標,在這篇博客中,我將介紹如何針對電子商務中的 AR 優化 3D 模型。 推薦:用 NSDT編輯器…

Python 函數

Built-in Functions — Python 3.11.4 documentation

Transformer(二)(VIT,TNT)(基于視覺CV)

目錄 1.視覺中的Attention 2.VIT框架(圖像分類,不需要decoder) 2.1整體框架 2.2.CNN和Transformer遇到的問題 2.3.1CNN 2.3.2Transformer 2.3.3二者對比 2.4.公式理解 3TNT 參考文獻 1.視覺中的Attention 對于人類而言看到一幅圖可以立…

區塊鏈系統探索之路:私鑰的壓縮和WIF格式詳解

在前面章節中,我們詳細介紹了公鑰的壓縮,在比特幣網絡中,一個私鑰可以對應兩個地址,一個地址是由未壓縮公鑰所生成的地址,另一個就是由壓縮公鑰所創建的地址,從公鑰到區塊鏈地址的轉換算法,我們…

【設計模式——學習筆記】23種設計模式——解釋器模式Interpreter(原理講解+應用場景介紹+案例介紹+Java代碼實現)

案例引入 通過解釋器模式來實現四則運算,如計算ab-c的值,具體要求 先輸入表達式的形式,比如abc-de,要求表達式的字母不能重復在分別輸入a,b,c,d,e的值最后求出結果 傳統方案 編寫一個方法,接收表達式的形式&#xf…

基于Pan-Tompkins的實時QRS檢測算法:便攜式ANSI-C實現深入解析

引言 隨著醫學工程和移動設備技術的進步,實時QRS檢測算法在心電圖分析中變得越來越重要。其中,Pan-Tompkins算法由于其高效性和準確度,在許多應用中都受到廣泛認可。本文將深入探討此算法的ANSI-C實現,并提供詳細的代碼實例。 1…

【kubernetes】配置資源管理

目錄 Secret 創建 Secret 1、用kubectl create secret命令創建Secret 2、內容用 base64 編碼,創建Secret 使用方式 1、將 Secret 掛載到 Volume 中,以 Volume 的形式掛載到 Pod 的某個目錄下 2、將 Secret 導出到環境變量中 ConfigMap 創建 Co…

請解釋一下CSS中的rem和em單位有什么不同,分別如何使用?

聚沙成塔每天進步一點點 ? 專欄簡介? CSS中的rem和em單位的區別和使用? em單位使用示例: ? rem 單位使用示例: ? 區別和適用場景? 寫在最后 ? 專欄簡介 前端入門之旅:探索Web開發的奇妙世界 記得點擊上方或者右側鏈接訂閱本專欄哦 幾何…

Nginx常見的三個漏洞

目錄 $uri導致的CRLF注入漏洞 兩種常見場景 表示uri的三個變量 案例 目錄穿越漏洞 案例 Http Header被覆蓋的問題 案例 $uri導致的CRLF注入漏洞 兩種常見場景 用戶訪問http://example.com/aabbcc,自動跳轉到https://example.com/aabbcc 用戶訪問http://exa…

[英語單詞] compat; compatibility;compact;entry_SYSENTER_compat

簡介 這個詞compat,馬上就會被簡寫形式所替代。所以一定不要和compact混淆。第一次看到還以為是個新詞來,后來發現是一個縮寫形式。就是兼容的意思,就如同兼容以往的就有事物。 syscall: 32bit: 兼容 entry_SYSENTER_compat 這個是32位程序…