jstorm mysql_zookeeper，kafka，jstorm，memcached，mysql流式數據處理平臺部署

一．平臺環境介紹:

1．系統信息：項目信息

系統版本:Ubuntu14.04.2 LTS \n \l

用戶：*****

密碼：******

Java環境：openjdk-7-jre

語言：en_US.UTF-8，en_US:en

磁盤：每臺vda為系統盤(50G),vdb為數據盤(200G)掛載于/storage目錄hcloud15最為DB，第二塊磁盤為2000G

主機范圍：192.168.21.7~192.168.21.15,192.168.21.17,192.168.21.18(11臺)

主機名：以IP地址為準，依次為hcloud07~hcloud18

2．服務組件分布：服務名稱分布主機

Zookeeperhcloud12,hcloud13,hcloud14

Kafkahcloud07,hcloud08

Jstormhcloud09,hcloud10,hcloud11

Memcachedhcloud13,hcloud14

Mysqlhcloud15

Web-UIhcloud17

二．平臺環境配置:

三．Zookeeper配置:

1.安裝主程序及需要的組件：apt-get?install??-y?libzookeeper-java?libzookeeper-mt2?zookeeper?zookeeperd

2.修改配置文件：

2.1．zookeeper主配置文件vim?/etc/zookeeper/conf/zoo.cfg

##修改數據目錄

dataDir=/storage/lib/zookeeper

##所有zookeeper主機

server.1=hcloud12:2888:3888

server.2=hcloud13:2888:3888

server.3=hcloud14:2888:3888

##

2.2 做啟動前準備mkdir?-p/storage/lib/zookeeper

cd?/storage/lib/zookeeper

ln?-s/etc/zookeeper/conf/myid????myid

vim?myid

##填入zookeeper主機的編號，第一臺是若是1,依次往后類推

1

##

3.測試啟動及定義自動啟動：

3.1測試啟動invoke-rc.d?zookeeper?start

#正常情況下會啟動成功，若失敗請根據失敗信息查找原因，或查看日志

tail?-f/var/log/zookeeper/zookeeper.lo

3.2隨機自動啟動update-rc.dzookeeper?defaults

四．Jstorm配置:下載解壓主程序包cd?/srv

wget?http://42.121.19.155/jstorm/jstorm-2.0.4-SNAPSHOT.tar.gz

tar?zxfjstorm-2.0.4-SNAPSHOT.tar.gz

2.修改配置文件vim??conf/storm.yaml

##注意縮進，加入zookeeper主機的IP地址，和jstorm監聽的端口

storm.zookeeper.servers:

-?"192.168.21.12"

-?"192.168.21.13"

-?"192.168.21.14"

supervisor.slots.ports:

-?6800

-?6801

-?6802

-?6803

-?6804

-?6805

-?6806

-?6807

##Nimbus和Supervisor節點配置文件相同

3.測試啟動及定義自動啟動：

3.1測試啟動

3.1.1在nimbus節點上執行：nohup?jstorm?nimbus?&

查看$JSTORM_HOME/logs/nimbus.log檢查有無錯誤

3.1.2在supervisor節點上執行nohup?jstorm?supervisor?&

查看$JSTORM_HOME/logs/supervisor.log檢查有無錯誤

3.2隨機自動啟動

3.2.1Nimbus節點vim?/srv/jstorm/StartNimbus.sh

##加入環境變量，和啟動命令

exportJSTORM_HOME=/srv/jstorm

export?PATH=$PATH:$JSTORM_HOME/bin

nohup?$JSTORM_HOME/bin/jstorm?nimbus?>$JSTORM_HOME/StartNimbus.log?&

##

chmod??+x?/srv/jstorm/StartNimbus.sh

vim/etc/rc.local

##添加以下一行，開機就會自動執行StartNimbus.sh腳本啟動jstorm

/srv/jstorm/StartNimbus.sh

##

3.2.2Supervisor節點vim?/srv/jstorm/StartSupervisor.sh

##加入環境變量，和啟動命令

export?JSTORM_HOME=/srv/jstorm

exportPATH=$PATH:$JSTORM_HOME/bin

nohup$JSTORM_HOME/bin/jstorm?supervisor?>?$JSTORM_HOME/StartSupervisor.log?&

chmod??+x?/srv/jstorm/StartSupervisor.sh

vim/etc/rc.local

##添加一下一行

/srv/jstorm/StartSupervisor.sh

##

五．Kafka配置:

1.下載解壓主程序包cd??/srv

wget?http://www.eu.apache.org/dist//kafka/0.8.2.1/kafka_2.9.2-0.8.2.1.tgz

tar?zxf??kafka_2.9.2-0.8.2.1.tgz

2.修改配置文件cdkafka_2.9.2-0.8.2.1/

vim?config/server.properties

##

broker.id=1????#第二個節點依次類推

log.retention.hours=48

zookeeper.connect=192.168.21.12:2181,192.168.21.13:2181,192.168.21.14:2181

##填入zookeeper的主機的IP

3.測試啟動及自動啟動vim/srv/kafka_2.9.2-0.8.2.1/StartKafka.sh

##原理同Jstorm一樣

exportKAFKA_HOME=/srv/kafka_2.9.2-0.8.2.1

nohup$KAFKA_HOME/bin/kafka-server-start.sh?$KAFKA_HOME/config/server.properties?\\

>$KAFKA_HOME/StartKafka.log?&

##

chmod??+x?/etc/init.d/StartKafka.sh

vim?/etc/rc.loca

##添加一行

/srv/kafka_2.9.2-0.8.2.1/StartKafka.sh

##

六．Memcached配置:

1.安裝主程序vim?/etc/memcached.conf

##將以下行注釋

#?-l?127.0.0.1

##

2.啟動以及自動啟動啟動：invoke-rc.d??memcached?start

隨機自動啟動：update-rc.d??memcacheddefaults

七．Mysql配置：

1.安裝主程序apt-get?instlal?mysql-server-5.5

##安裝過程需要輸入mysql密碼

2.修改配置文件

2.1.修改數據庫的data路徑(mysql的默認data路徑在/var/lib/mysql目錄下)invoke-rc.d?mysql??stop

mkdir?-p?/storage/lib/mysql

chown?-Rmysql:mysql??/storage/lib

cp?-pR??/var/lib/mysql??/storage/lib/

vim?/etc/apparmor.d/usr.sbin.mysqld

##做如下修改，注意末尾逗號

#??/var/lib/mysql/?r,

#??/var/lib/mysql/**?rwk,

/storage/lib/mysql/r,

/storage/lib/mysql/**?rwk,

##

2.2.修改主配文件vim?/etc/my?????sql/my.cnf

##做如下修改：

#datadir????????????????=?/var/lib/mysql

datadir?????????=/storage/lib/mysql

##

3.啟動和自啟動

3.1.啟動/etc/init.d/apparmor?restart

invoke-rc.d?mysql??start

3.2自啟動update-rc.d?mysql?defaults

八．Jstorm，Zookeeper的Web-UI配置：

1.Jstorm-Web-UI

安裝tomcat部署Web-UI程序apt-get??install?tomcat7?–y

cd/usr/share/tomcat7/

mkdir??-p??.jstorm

##復制jstorm主機的配置文件到/usr/share/tomcat7/.jstorm/目錄下

cp-f?$JSTORM_HOME/conf/storm.yaml?~/.jstorm/

cd?/srv

wget?http://42.121.19.155/jstorm/jstorm-2.0.4-SNAPSHOT.tar.gz

tar?zxfjstorm-2.0.4-SNAPSHOT.tar.gz

cd/var/lib/tomcat7/webapps

cp?/srv/jstorm/jstorm-ui-0.9.6.2.war??./

mv?ROOT?ROOT.old

ln?-sjstorm-ui-2.0.4-SNAPSHOT?ROOT

2.Zookeeper-Web-UI

2.1. 下載

3.jstorm 與Apache 整合

3.1Apache加載ajp模塊

Apache2.2 以上可以使用ajp方式，簡單方便；

執行以下命令查看Apache已經加載的模塊：

apachectl -t -D DUMP_MODULES

執行以下命令加載proxy_ajp 模塊：

a2enmod? proxy_ajp

可以使用查看命令查看已開啟的模塊：

apachectl -t -D DUMP_MODULES

eeae32e91e7d0532fe368b91e525cf32.png

3.2配置Apache 虛擬目錄：vim?/etc/apache2/sites-enabled/js.conf

##

ServerName?localhost

DocumentRoot"/var/lib/tomcat7/webapps/"

ProxyRequests?Off

ProxyPreserveHost?On

Order?Deny,Allow

Deny?from?all

Allow?from?all

ProxyPass?/jstorm??ajp://localhost:8009/

ProxyPa***everse?/jstorm??ajp://localhost:8009/

##

3.3配置tomcatvim?/etc/tomcat7/server.xml

#將下行注釋取消

3.4參考鏈接

https://confluence.atlassian.com/jira/configuring-apache-reverse-proxy-using-the-ajp-protocol-183468775.html

http://chirag.bodar.in/configure-apache-httpd-24-with-tomcat-7x-on-ubuntu-1204-1304-and-1404

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/news/279238.shtml
繁體地址，請注明出處：http://hk.pswp.cn/news/279238.shtml
英文地址，請注明出處：http://en.pswp.cn/news/279238.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

dock模擬macos教程_將macOS首選項窗格添加到您的Dock中以快速訪問

dock模擬macos教程_將macOS首選項窗格添加到您的Dock中以快速訪問

dock模擬macos教程macOS: Is there a certain Preference pane you access constantly? You can quickly add it to your dock. macOS：是否存在您經常訪問的特定“首選項”窗格？ 您可以將其快速添加到擴展塢中。 Brett Terpstra, writing for Lifehacke…
閱讀更多...
怎么做mysql查詢系統_mysql數據庫系統學習（一）---一條SQL查詢語句是如何執行的？...

怎么做mysql查詢系統_mysql數據庫系統學習（一）---一條SQL查詢語句是如何執行的？...

一、第一節：一條sql查詢語句是怎樣執行的5.5.5版本以后，默認使用存儲引擎為InnoDB不使用查詢緩存，MySQL8.0沒有查詢緩存這個功能總體來說：MySQL分為service層和存儲引擎層1)service層包括：連接器、分析器、優化器、執行…
閱讀更多...
mysql qt自增_mysql自增設置

mysql qt自增_mysql自增設置

MySQL設置自增字段的相關語句：alter table album change ALBUM_ID ALBUM_ID bigint not null auto_increment;alter table album auto_increment1;創建:mysql>create table cc(id int auto_increment,name varchar(20),primary key(id));mysql>create table c…
閱讀更多...
staem被盜_如何檢查照片是否被盜

staem被盜_如何檢查照片是否被盜

staem被盜Photos and other images get stolen all the time online. Someone takes a photo from the photographer’s website or social media channels and uses it for their own needs. This is completely illegal and happens to me all the time here at How-To Geek.…
閱讀更多...
數據庫、表、表內容增刪改查

數據庫、表、表內容增刪改查

數據庫和表的創建 用戶的增 刪 改 查 增 create user 用戶名192.168.16.% identified by ‘123’；創建一個賬戶，并設置密碼，可不設密碼 grant all on *.* to 用戶地址; #給賬戶授權 flush privileges； #刷新授權立即生效 創…
閱讀更多...
立即通過Xumo.TV在線觀看免費電視

立即通過Xumo.TV在線觀看免費電視

Xumo.TV brings the channel surfing experience to cord cutters, with content from The History Channel, MSNBC, Fox Sports, and more. And it’s free. Xumo.TV將頻道瀏覽體驗帶給剪線鉗，其中包括The History Channel，MSNBC，Fox Sports…
閱讀更多...
NOIP2009靶形數獨

NOIP2009靶形數獨

試題描述小城和小華都是熱愛數學的好學生，最近，他們不約而同地迷上了數獨游戲，好勝的他們想用數獨來一比高低。但普通的數獨對他們來說都過于簡單了，于是他們向 Z 博士請教， Z 博士拿出了他最近發明的“靶形數獨”&…
閱讀更多...
mysql 1005 - can't create table_關于創建數據表報錯一例(ERROR 1005 Can’t create table (errno: 121))...

mysql 1005 - can't create table_關于創建數據表報錯一例(ERROR 1005 Can’t create table (errno: 121))...

問題描述曾遇到創建數據表報錯問題，報錯如下：ERROR 1005 (HY000) at line 18: Cant create table db1.t2 (errno: 121)通過日志查看有一條記錄InnoDB: Error: table db1.t2 already exists in InnoDB internal可見要創建的這個表已經存在，導致…
閱讀更多...
h5輸出文字write_免費下載：Write是用于手寫的文字處理器

h5輸出文字write_免費下載：Write是用于手寫的文字處理器

h5輸出文字writeWindows/Mac/Linux/Android: Love the feel of writing by hand, but wish you could use features like copy/paste and undo? Write is a free tool that lets you do just that. Windows / Mac / Linux / Android：喜歡手寫的感覺，但是…
閱讀更多...
11. IDEA 在同一工作空間創建多個項目

11. IDEA 在同一工作空間創建多個項目

1.創建項目 二.、創建工作空間 JavaWorkspace 1、File-> New Project -> 創建工作空間 JavaWorkspace，并 順便創建項目 JavaOne 2.創建第一個項目后形成的目錄結構如下 三、在已經創建好的工作空間中創建第二個項目 1、File -> New Module -> 創建項目 …
閱讀更多...
winform 線程監聽兩個目錄下的文件_vb.net 利用.net自帶的GZipStream壓縮或者解壓文件的代碼，不需要任何第三方控件...

winform 線程監聽兩個目錄下的文件_vb.net 利用.net自帶的GZipStream壓縮或者解壓文件的代碼，不需要任何第三方控件...

網上很少有用VB寫的壓縮文件的代碼，但是，在網絡傳輸，文件下載,打包發布等等方面的需求又比較多，所以，借鑒了一下C#代碼的例子，改造成了VB用的類。另外加上了多層文件夾壓縮解壓。但是，因為時間有…
閱讀更多...
什么是“ rpcsvchost”，以及為什么它在Mac上運行？

什么是“ rpcsvchost”，以及為什么它在Mac上運行？

You find something called rpcsvchost while using Activity Monitor to see what’s running on your Mac. What is this process, and should you be worried? In a word, no: rpcsvhost is a core part of macOS. 在使用“活動監視器”查看Mac上正在運行的內容時&#xff…
閱讀更多...
自定義異常禁用異常堆棧_如何在Mac上禁用或自定義自動更正

自定義異常禁用異常堆棧_如何在Mac上禁用或自定義自動更正

自定義異常禁用異常堆棧Sometimes, autocorrect gets it wrong, replacing a word you meant to type with something completely different. You can customize it to fix these issues or disable it altogether. 有時候，自動更正會把它弄錯，用完全不同…
閱讀更多...
控制dcom程序使用端口_使用VS Code調試.net控制臺應用程序的方法

控制dcom程序使用端口_使用VS Code調試.net控制臺應用程序的方法

本文由 比特飛 原創發布，歡迎大家踴躍轉載。轉載請注明本文地址：https://www.byteflying.com/archives/6928。1、概述本文向大家介紹使用Visual Studio Code調試.net控制臺應用程序的方法。2、方案首先在創建好一個控制臺應用程序，再在擴展中…
閱讀更多...
omnipay支付--支付寶支付

omnipay支付--支付寶支付

最近負責的項目事關支付寶APP支付 也踩了一些坑 這邊記錄下 以下代碼基于laravel框架下: 生成APP支付參數: $gateway $this->getGateway();$request $gateway->purchase();$request->setBizContent([subject > ,//產品描述out_trade_no > ,//本地訂單號…
閱讀更多...
4khz的帶寬是指什么意思_揚聲器和耳機的Hz-KHz范圍是什么意思？

4khz的帶寬是指什么意思_揚聲器和耳機的Hz-KHz范圍是什么意思？

4khz的帶寬是指什么意思If you’ve looked at high-end headphones or speakers, you’ve probably noticed numbers on the spec sheet that read something like “20Hz-20KHz.” What do these numbers mean? 如果您看過高端耳機或揚聲器，則可能已經注意到規格表…
閱讀更多...
mysql兩種引擎的適用場景_MySQL兩種引擎的區別和應用場景

mysql兩種引擎的適用場景_MySQL兩種引擎的區別和應用場景

Innodb引擎Innodb引擎提供了對數據庫ACID事務的支持，并且實現了SQL標準的四種隔離級別。該引擎還提供了行級鎖和外鍵約束，它的設計目標是處理大容量數據庫系統，它本身其實就是基于MySQL后臺的完整數據庫系統，MySQL運行時Innodb會在…
閱讀更多...
linux里查看最耗CPU的線程

linux里查看最耗CPU的線程

1、top后按c查看最耗cpu的進程，得到pid 2、top -Hp pid 查看該進程里的線程資源使用情況，找到最耗資源的線程的pid 3、jstack pid來查看進程的各個線程棧，注意這里的pid是第一步中進程的pid，不是第二步得到的線程id 4、將第二步得…
閱讀更多...
vlc傳輸_如何使用VLC通過網絡流式傳輸視頻和音樂

vlc傳輸_如何使用VLC通過網絡流式傳輸視頻和音樂

vlc傳輸VLC includes a fairly easy-to-use streaming feature that can stream music and videos over a local network or the Internet. You can tune into the stream using VLC or other media players. VLC包括一個相當易于使用的流媒體功能，可以通過本地網絡…
閱讀更多...
python實現異步的幾種方式_終于搞明白了，異步Python比同步Python究竟快在哪里？...

python實現異步的幾種方式_終于搞明白了，異步Python比同步Python究竟快在哪里？...

大家好，你是否聽人們說過，異步 Python 代碼比“普通(或同步)Python 代碼更快？ 果真是那樣嗎？同步和異步是什么意思？Web 應用程序通常要處理許多請求，這些請求在短時間內來自不同的客戶端。為避免處理延遲&a…
閱讀更多...
最新文章

Copyright @ 2022~2023