Storm任務提交過程及目錄樹介紹

  • 目錄
    • 前言:
    • 1、Storm 任務提交的過程
    • 2、Storm相關的目錄樹
    • 總結:

目錄

前言:

對于任何一個組件來說,了解它相關的任務提交的過程是非常有必要的(畢竟生產中遇到一些Bug時,你如果知道內部執行的過程,那么會對問題的解決會有很大的幫助)。除此之外還會對Storm相關的目錄樹進行一個簡單的介紹,主要是為了了解下在任務提交過程中一些數據的存儲過程。博主也是小菜鳥一枚,如有錯誤或不足,請各位及時指出,必當及時修正。

1、Storm 任務提交的過程

任務提交詳細過程如下圖所示:
這里寫圖片描述

過程總結:
1、客戶端提交topology到nimbus(提交的jar包被上傳到nimbus下的inbox目錄)。
2、jar包中的submitTopology方法會對topology進行一些檢查處理(如bolt/spout的id是否違法,storm是否是active等),然后在nimbus服務器上建立topology本地目錄進行存儲(包含topology的jar包以及topology的序列化對象)
3、之后nimbus進行任務分配(根據topology定義的一些參數來對bolt/spot設定task的數量并分配對應的task-Id),將分配好的task信息發送到zookeeper(task信息包括task的心跳信息,topology的描述信息等發送到zookeeper對應的目錄下);
4、supervisor定期到zookeeper相應目錄下查看是否有新的任務,有的話下載下來,根據任務的描述信息啟動相應的worker進行工作;
5、worker根據任務的描述信息來創建響應的網絡連接來發消息。

2、Storm相關的目錄樹

Storm任務提交的過程(根據圖中的目錄信息去理解Storm相關的目錄樹的目錄信息)
這里寫圖片描述

Storm組件本地目錄樹
這里寫圖片描述

Storm zookeeper目錄樹
這里寫圖片描述

總結:

以上的內容主要還是以理解為主,特別是Storm任務提交的過程,需要重點關注!

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/456624.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/456624.shtml
英文地址,請注明出處:http://en.pswp.cn/news/456624.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

《Adobe InDesign CS6中文版經典教程》—第1課1.5節修改文檔的縮放比例

本節書摘來自異步社區《Adobe InDesign CS6中文版經典教程》一書中的第1課1.5節修改文檔的縮放比例,作者【美】Adobe公司,更多章節內容可以訪問云棲社區“異步社區”公眾號查看。 1.5 修改文檔的縮放比例Adobe InDesign CS6中文版經典教程InDesign中的控件讓用戶能…

隨機生成一定范圍的隨機數

function randomNum(min,max) { return Math.ceil(Math.random()*(max-min)min); } min,max最小最大范圍數字。轉載于:https://www.cnblogs.com/kingzlz/p/6229586.html

【python】Flask視圖

2.1 從 Hello World 開始 Flask程序運行過程: 所有Flask程序必須有一個程序實例。 Flask調用視圖函數后,會將視圖函數的返回值作為響應的內容,返回給客戶端。一般情況下,響應內容主要是字符串和狀態碼。 當客戶端想要獲取資源…

大數據之Kafka入門簡介

目錄前言:1、Kafka是什么2、JMS是什么3、Kafka核心組件(重點)總結: 目錄 前言: 作為流式計算中的一個組件,對于它的組成以及運行的原理,學習者也需要相關的了解。以下主要簡單介紹了kafka是什…

oracle的安裝與plsql的環境配置

1,首先得有oracle的安裝包和plsql的安裝包,安裝包地址可見百度云 http://pan.baidu.com/s/1miTqhmg 2.解壓下來進入0817賬套,找到set.exe文件,雙擊安裝即可 注意的是安裝的時候有兩個目錄是要自己創建的,否則安裝不成功…

如何在Docker容器中運行GUI程序

如何在Docker容器中運行GUI程序 各位,今天我們將學習如何在Docker之中運行GUI程序。我們可以輕易地在Docker容器中運行大多數GUI程序且不出錯。Docker是一個開源項目,提供了一個打包、分發和運行任意程序的輕量級容器的開放平臺。它沒有語言支持、框架或…

【python】Get與Post的區別?(面試官最想聽到的答案)

GET和POST是HTTP請求的兩種基本方法,要說它們的區別,接觸過WEB開發的人都能說出一二。 最直觀的區別就是GET把參數包含在URL中,POST通過request body傳遞參數。 你可能自己寫過無數個GET和POST請求,或者已經看過很多權威網站總結出…

大數據之Kafka集群安裝及簡單使用

目錄1、Kafka集群部署2、Kafka常用操作命令 目錄 1、Kafka集群部署 1.1、下載安裝包 http://kafka.apache.org/downloads.html 在linux中使用wget命令下載安裝包 wget http://mirrors.hust.edu.cn/apache/kafka/0.8.2.2/kafka_2.11-0.8.2.2.tgz 1.2、解壓安裝包 tar -z…

Python爬蟲入門之Urllib庫的基本使用

那么接下來,小伙伴們就一起和我真正邁向我們的爬蟲之路吧。 1.分分鐘扒一個網頁下來 怎樣扒網頁呢?其實就是根據URL來獲取它的網頁信息,雖然我們在瀏覽器中看到的是一幅幅優美的畫面,但是其實是由瀏覽器解釋才呈現出來的&#xf…

【python】hashlib.shasha256練習注冊 --筆記

用戶注冊和登錄import csv import hashlib#注冊將用戶信息填寫到csv文件中 def register():username input(用戶名:)password input(密碼:)user []user.append(username)user.append(hashlib.sha256(password.encode(utf-8)).hexdigest())with open(t2/users.csv, a, newlin…

《3ds Max瘋狂設計學院》——1.6節3ds Max 2016新增的主要功能

本節書摘來自異步社區《3ds Max瘋狂設計學院》一書中的第1章,第1.6節3ds Max 2016新增的主要功能,作者 曹茂鵬,更多章節內容可以訪問云棲社區“異步社區”公眾號查看 1.6 3ds Max 2016新增的主要功能1.Max Creation Graph3ds Max…

大數據之Kafka內部原理詳細介紹

目錄前言:1、Kafka整體結構2、Consumer與topic關系3、Kafka消息的分發4、Consumer的負載均衡5、kafka文件存儲機制總結: 目錄 前言: 本篇文章所介紹的內容還是以了解為主,主要目的還是為了對Kafka有一個更深入的理解。主要介紹…

【python】urllib和urllib3,requests 簡要概括---筆記

urllib和urllib3,requestsurl:協議://存放資源的地址(域名)/具體的資源https://bj.lianjia.com/zufang/dghfjhsjdf648.htmlurllib.request 用來發出請求urllib.parseurllib.request.urlopen(str) --->response對象request urllib.reques…

JS與APP原生控件交互

“熱更新”、“熱部署”相信對于混合式開發的童鞋一定不陌生,那么APP怎么避免每次升級都要在APP應用商店發布呢?這里就用到了混合式開發的概念,對于電商網站尤其顯得重要,不可能每次發布一個活動,都要發布一個現版本&a…

《脫穎而出——成功網店經營之道》一2.6 連橫:返利模式的應用及分銷

本節書摘來異步社區《脫穎而出——成功網店經營之道》一書中的第2章,第2.6節,作者: 何小健 責編: 趙軒, 更多章節內容可以訪問云棲社區“異步社區”公眾號查看。 2.6 連橫:返利模式的應用及分銷 脫穎而出——成功網店…

【python】os模塊 遞歸刪除文件夾所有文件 --筆記

os.environ 獲取系統的環境變量 os.name nt -- windows \r\n | posix --- Linux \nos.path: import osprint(os.environ) print(os.environ[OS])print(os.path.abspath(t1/file01.py)) # 獲取絕對路徑 print(os.path.isabs(t1/file01.py)) # 判斷所給的路徑是否是一個絕對…

大數據之Spark集群安裝及簡單使用

目錄1、Spark集群安裝1.1. 安裝 2、啟動Spark Shell2.1、啟動spark shell2.2、在spark shell中編寫WordCount程序 目錄 1、Spark集群安裝 1.1. 安裝 1.1.1. 機器部署 準備兩臺以上Linux服務器,安裝好JDK1.7 1.1.2. 下載Spark安裝包 下載地址:ht…

《C和C++代碼精粹》——1.7 類型安全I/O

本節書摘來自異步社區出版社《C和C代碼精粹》一書中的第1章第1.7節,作者: 【美】Chuck Allison,更多章節內容可以訪問云棲社區“異步社區”公眾號查看。 1.7 類型安全I/O C和C代碼精粹當然每個C程序員都曾經使用過printf的錯誤格式描述符號。…

大數據之Spark簡介及RDD說明

目錄前言:1、Spark概述1.1、什么是Spark(官網:http://spark.apache.org)1.2、為什么要學Spark1.3、Spark特點 2、RDD概述2.1、什么是RDD2.2、RDD的屬性2.3、創建RDD的兩種方式2.4、RDD編程API2.5、RDD的依賴關系2.6、RDD的緩存2.7…

Python3中urlopen()詳解

一. 簡介 urllib.request.urlopen()函數用于實現對目標url的訪問。 函數原型如下:urllib.request.urlopen(url, dataNone, [timeout, ]*, cafileNone, capathNone, cadefaultFalse, contextNone)  url: 需要打開的網址 data:Post提交的數據 timeo…