【大數據面試題】008 談一談 Flink資源如何配置

【大數據面試題】008 談一談 Flink 資源如何配置

      • 并行度 Parallelism 概念作用
      • Slot 概念作用
      • 如何設置
      • TaskManager 任務管理器
      • Flink submit 腳本

一步一個腳印,一天一道面試題

該文章有較多引用文章
https://zhuanlan.zhihu.com/p/572170629?utm_id=0

并行度 Parallelism 概念作用

并行度是作用于算子的單位。Flink 的每個算子都可以單獨設置并行度。一般來說,并行度越大,處理能力越大,處理的就越快。

DataStream<T> dataStream = ...; // 獲取數據流
dataStream.setParallelism(10).map(...); // 設置并行度為 10 的 map 算子

Slot 概念作用

Slot 是 Flink 的最小資源管理單位。目前 Slot 可以隔離內存,但不能隔離 CPU,CPU 是 TaskManager 共享的。跟并行度對應的單位是算子不同,Slot 對應的單位是整個 Flink Job

如何設置

一個 task 一個 slot
可以在 Flink 的 web 中找到 Job 有多少個 task,盡量每個 task 都有 slot,避免 task 出現等待資源的情況。

TaskManager 任務管理器

TaskManager = 并行度 / Slot

Flink submit 腳本

#!/bin/bashFLINK_HOME=/path/to/flink  # Flink 的安裝路徑
JOB_JAR=/path/to/job.jar  # 需要提交的 Flink 作業的 Jar 包路徑SLOTS=10  # 設置使用的 slot 數量
TASKMANAGER_MEMORY=4096  # 設置每個 TaskManager 的內存大小為 4GB
TASKMANAGERS=2  # 設置 TaskManager 的數量為 2$FLINK_HOME/bin/flink run \-m yarn-cluster \-yn $SLOTS \-ytm $TASKMANAGER_MEMORY \-ys $SLOTS \-yjm $TASKMANAGER_MEMORY \-tm $TASKMANAGERS \-yqu flink_queue \-yD key=value \-c your.main.Class \$JOB_JAR# -tm 設置 Task Manager 的數量
# -ys 設置 YARN session 的 slot 數量,這個值通常應與 -yn 中的 slot 數量保持一致。
# -yjm 設置 YARN session 的 JobManager 內存大小。
# -yqu 設置作業提交到的 YARN 隊列名稱。
# -yD 通過該選項可以設置 Flink 的配置項,如設置并行度、配置文件等。key=value 表示一個具體的配置項。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/696189.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/696189.shtml
英文地址,請注明出處:http://en.pswp.cn/news/696189.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Unity2023.1.19沒有PBR Graph?

Unity2023.1.19沒有PBR Graph? 關于Unity2023.1.19沒有PBR graph的說法,我沒看見管方給出的答案,百度則提到了Unity2020版之后Shader Graph的“全新更新”,之前也沒太注意版本的區別,以后項目盡量都留心一下。 之前文章說過,孿生智慧項目推薦使用URP渲染管線,以上的截…

安裝sklearn遇到ImportError: dlopen: cannot load any more object with static TLS

1.看https://blog.csdn.net/Go_ahead_forever/article/details/133755918 知不能 pip install sklearn&#xff0c;而是 pip install scikit-learn2.網上說調換import的順序就能解決。 但是我不知道調換哪個&#xff0c;索性重新開了anaconda環境&#xff0c;一個個安裝缺什么…

Stable Diffusion 繪畫入門教程(webui)-ControlNet(線稿約束)

上篇文章介紹了openpose&#xff0c;本篇文章介紹下線稿約束&#xff0c;關于線稿約束有好幾個處理器都屬于此類型&#xff0c;但是有一些區別。 包含&#xff1a; 1、Canny(硬邊緣&#xff09;&#xff1a;識別線條比較多比較細&#xff0c;一般用于更大程度得還原照片 2、ML…

在docker中運行vins-fusion

文章目錄 VINS-fusion拉取鏡像創建容器在vscode中運行代碼運行效果VINS-fusion VINS-Fusion 是一個開源的實時多傳感器狀態估計庫,主要由香港科技大學的沈邵劼教授領導的研究團隊開發。它是 VINS-Mono(單目視覺慣性系統)的擴展,支持多種傳感器組合,如雙目、立體相機和IMU…

Spring Security 認證授權安全框架

Spring Security概述 1.什么是Spring Security? Spring Security是一個Java框架&#xff0c;用于保護應用程序的安全性。它提供了一套全面的安全解決方案&#xff0c;包括身份驗證、授權、防止攻擊等功能。Spring Security基于過濾器鏈的概念&#xff0c;可以輕松地集成到任…

指針筆試題(C語言進階)

目錄 前言 1、案例一 1.1 答案 1.2 解析 2、案例二 2.1 答案 2.2 解析 3、案例三 3.1 答案 3.2 解析 4、案例四 4.1 答案 4.2 解析 5、案例五 5.1 答案 5.2 解析 總結 前言 “紙上得來終覺淺&#xff0c;絕知此事要躬行”。本篇通過對指針實際案例的分析&…

Google重磅開源!Gemma 2B/7B小模型登場,6萬億Tokens喂飽,聊天編程兩不誤,LLaMA也黯然失色?

Google又有大動作&#xff01; 近日&#xff0c;他們發布了Gemma 2B和7B兩個開源AI模型&#xff0c;與大型封閉模型不同&#xff0c;它們更適合小型任務&#xff0c;如聊天和文本摘要。 這兩個模型在訓練過程中使用了6萬億個Tokens的數據&#xff0c;包括網頁文檔、代碼和數學…

收單外包機構備案2023年回顧和2024年展望

孟凡富 本文原標題為聚合支付深度復盤與展望&#xff0c;首發于《支付百科》公眾號&#xff01; 收單外包服務機構在我國支付收單市場中占據著舉足輕重的地位&#xff0c;其規模在政策引導和市場需求驅動下不斷擴大。同時&#xff0c;隨著行業自律管理體系的持續發展和完善&a…

文獻速遞:GAN醫學影像合成--用生成對抗網絡生成 3D TOF-MRA 體積和分割標簽

文獻速遞&#xff1a;GAN醫學影像合成–用生成對抗網絡生成 3D TOF-MRA 體積和分割標簽 01 文獻速遞介紹 深度學習算法在自然圖像分析中的成功近年來已被應用于醫學成像領域。深度學習方法已被用于自動化各種耗時的手動任務&#xff0c;如醫學圖像的分割和分類&#xff08;G…

頂刊中很出彩的二元變量圖

導師希望你發頂刊, 但你的圖紙差點意思, 那么,你不妨試試這個, 二元變量圖, 在頂刊中都很出彩哦! 本次,我們來以“降水量”和“NDVI”兩個數據為例,繪制二元變量分析圖,表達“降水量”和“NDVI”之間的關系。 什么是二元變量圖 首先還是先解釋下“二元變量圖”。顧…

OpenCV中saturate_cast模板函數

在OpenCV中&#xff0c;saturate_cast是一個模板函數&#xff0c;用于正確地將一個數值從一種類型轉換到另一種類型&#xff0c;同時確保結果在目標類型的有效范圍內。這在圖像處理中特別有用&#xff0c;比如當像素值在經過計算后可能超出其數據類型允許的范圍時。saturate_ca…

-bash: /root/.ssh/authorized_keys: Read-only file system

問題背景 由于跳板機不支持 ssh-copy-id 命令&#xff0c;為了配置免密登錄&#xff0c;考慮在服務器上手動使用 cat 命令寫入跳板機公鑰 cat <<EOL >> ~/.ssh/authorized_keys [Your public key] EOL但卻出現了以下錯誤 -bash: /root/.ssh/authorized_keys: Re…

編程筆記 Golang基礎 013 格式化輸入輸出

編程筆記 Golang基礎 013 格式化輸入輸出 一、格式化輸出1. fmt.Print系列函數2. Printf格式說明3. 格式化布爾類型 二、格式化輸入1. fmt.Scan系列函數注意事項 三、練習小結 Go語言中的格式化輸入和輸出主要通過標準庫 fmt 包來實現。主要是輸出需要格式化。 一、格式化輸出 …

掃盲貼:Svg動畫和Canvas動畫有什么區別

hello&#xff0c;我是貝格前端工場&#xff0c;網頁中動畫的實現有N種方式&#xff0c;比如css動畫&#xff0c;js動畫&#xff0c;svg動畫&#xff0c;canvas動畫等等&#xff0c;每一種動畫都有對應的場景&#xff0c;本問重點介紹一下svg和canvas動畫的異同點&#xff0c;歡…

大工程 從0到1 數據治理 數倉篇(sample database classicmodels _No.7)

大工程 從0到1 數據治理 之數倉篇 我這里還是sample database classicmodels為案列&#xff0c;可以下載&#xff0c;我看 網上還沒有類似的 案列&#xff0c;那就 從 0-1開始吧&#xff01; 提示&#xff1a;寫完文章后&#xff0c;目錄可以自動生成&#xff0c;如何生成可參…

TRS 2024 論文閱讀 | 基于點云處理和點Transformer網絡的人體活動連續識別

無線感知/雷達成像部分最新工作<持續更新>: 鏈接地址 注1:本文系“無線感知論文速遞”系列之一,致力于簡潔清晰完整地介紹、解讀無線感知領域最新的頂會/頂刊論文(包括但不限于 Nature/Science及其子刊; MobiCom, Sigcom, MobiSys, NSDI, SenSys, Ubicomp; JSAC, 雷達學…

提高代碼質量的 10 條編碼原則

提高代碼質量的 10 條編碼原則 本文轉自 公眾號 ByteByteGo&#xff0c;如有侵權&#xff0c;請聯系&#xff0c;立即刪除 今天來聊聊提高代碼質量的 10 條編碼原則。 軟件開發需要良好的系統設計和編碼標準。我們在下圖中列出了 10 條良好的編碼原則。 01 遵循代碼規范 我們…

Studio One破解版和正版的區別 Studio One購買是永久的嗎

在過去的很長一段時間里&#xff0c;很多小伙伴想要使用一款軟件時&#xff0c;可能第一時間就去網上尋找破解版的資源&#xff0c; 白嫖的資源固然很香&#xff0c;但隨著法制的健全和人們版權意識的增強&#xff0c;現在破解版的資源是越來越少了。同時破解版的資源也會伴隨著…

大數據計算技術秘史(上篇)

在之前的文章《2024 年&#xff0c;一個大數據從業者決定……》《存儲技術背后的那些事兒》中&#xff0c;我們粗略地回顧了大數據領域的存儲技術。在解決了「數據怎么存」之后&#xff0c;下一步就是解決「數據怎么用」的問題。 其實在大數據技術興起之前&#xff0c;對于用戶…

react實現拖拽的插件

插件一&#xff1a;dnd-kit 插件官網鏈接https://docs.dndkit.com/introduction/installation 插件二&#xff1a;react-beautiful-dnd https://github.com/atlassian/react-beautiful-dnd/tree/master 兩個插件的區別&#xff1a; 插件一可以做到從區域A拖住到區域B 插件二…