Flume監聽端口,輸出端口數據案例

1、在flume目錄下新建/myconf目錄,并在目錄下新建socket-console.conf 文件!

mkdir myconf
cd myconf
touch socket-console.conf

2、編輯文件vim socket-console.conf,添加以下內容:

# 定義這個agent中各組件的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1# 描述和配置source組件:r1
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444# 描述和配置sink組件:k1
a1.sinks.k1.type = logger# 描述和配置channel組件,此處使用是內存緩存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100# 描述和配置source  channel   sink之間的連接關系
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

3、運行命令 bin/flume-ng agent --conf conf/ --name a1 --conf-file myconf/socket-console.conf -Dflume.root.logger==INFO,console

其中-Dflume.root.logger==INFO,console的意思是將日志打印在控制臺上

4、新建一個終端頁面進入44444端口nc localhost 44444,并輸入測試信息
在這里插入圖片描述
可以看到在flume服務端上已經打印出了相關的信息!!

PS:flume的啟動命令可以使用以下兩種方式

bin/flume-ng agent --conf conf --conf.file example.conf --name a1 -Dflume.root.logger=INFO,console
bin/flume-ng agent -n $agent_name -c conf -f conf/flume-conf.properties.template

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/535845.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/535845.shtml
英文地址,請注明出處:http://en.pswp.cn/news/535845.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

MIP 移動網頁加速器視頻教程全新發布

MIP (Mobile Instant Pages - 移動網頁加速器) 是百度推出的開源項目,用于移動端頁面加速。MIP 技術通過優化瀏覽器資源加載,前端代碼執行及 CDN 緩存加速來加速頁面,打造秒開的頁面瀏覽體驗。目前,有 5000 多家站點的 MIP 頁已經…

日常問題——flume連接hive時報錯Caused by: java.lang.NoSuchMethodError

問題描述: 今天新安裝的flume,使用flume來做kafka與hive對接時出現了以下兩個的錯誤: Caused by: org.apache.hive.hcatalog.streaming.ConnectionError: HiveEndPoint{metaStoreUrithrift://localhost:9083, databasedb, tablestudent, pa…

MIP 技術進展月報:儲存功能全新上線,MIP-Cache域名升級,校驗更嚴謹

集 * 瞬時觸達用戶、高轉化率、炫酷閃電標、優質展現形式 * 等諸多特性為一體的 MIP 頁面吸引了眾多站點進行改造。為了更好地服務于廣大站長,更快地傾聽站長們的聲音,MIP 技術團隊特推出《MIP 技術進展月報》,歡迎大家對 MIP 技術提建議&…

通過Flume簡單實現Kafka與Hive對接(Json格式)

將以下存儲在kafka的topic中的JSON格式字符串,對接存儲到Hive的表中 {"id":1,"name":"小李"} {"id":2,"name":"小張"} {"id":3,"name":"小劉"} {"id":4,&qu…

改造MIP獲得搜索青睞,輕松完成SEO

搜索引擎目標及頁面排序方法 搜索引擎作為互聯網流量的入口,承擔著流量分發的職責。但排序成千上萬的網頁,決定哪些網頁在第一頁,是由網頁本身的用戶體驗決定的。權重算法會從內容優質性,廣告多少,加載速度等多個角度…

日常問題———Attempting to operate on hdfs namenode as root

寫在最前注意: 1、master,slave都需要修改start-dfs.sh,stop-dfs.sh,start-yarn.sh,stop-yarn.sh四個文件 2、如果你的Hadoop是另外啟用其它用戶來啟動,記得將root改為對應用戶 HDFS格式化后啟動dfs出現以…

WebP 在減少圖片體積和流量上的效果如何?MIP技術實踐分享

作者 | Jackson 編輯 | 尾尾 不論是 PC 還是移動端,圖片一直占據著頁面流量的大頭,在圖片的大小和質量之間如何權衡,成為了長期困擾開發者們的問題。而 WebP 技術的出現,為解決該問題提供了好的方案。本文將為大家詳細介紹 WebP …

日常問題——pdsh localhost Connection refused

問題描述: 本地安裝hadoop單機模式的時候需要啟動namenode時報錯 pdshxxx: localhost: connect: Connection refused解決方案(過程): 原因是pdsh默認采用的是rsh登錄,修改成ssh登錄即可,在環境變量/etc/…

MIP技術進展月報第2期: 數據綁定,異步腳本加速

一、 功能更新 1. mip-bind 上線,實現復雜交互 MIP bind 雙向綁定機制和組件上線,提供雙向綁定的特性;能夠允許頁面實現數據驅動功能,開發者可以在任意場景修改數據,并驅動頁面元素變動。 MIP 小姐姐畫外音&#xf…

Hadoop的安裝與配置——設置單節點群集

本篇博客將主要介紹如何設置和配置單節點Hadoop安裝,以便我們可以使用Hadoop 的MapReduce與HDFS快速執行簡單的操作。 零、先決條件 1、本系列以Ubuntu Linux作為開發和生產平臺 2、Linux所需的軟件包括: JAVA:必須安裝Java,配置…

MIP 腳本域名地址變更公告

尊敬的 MIP 開發者: MIP 團隊為了解決 MIP-Cache 頁面下 cookie 相互覆蓋問題,增強站點品牌露出,在 2017 年 8 月將 MIP 的腳本域名和 MIP-Cache 頁面域名進行了升級變更,詳見說明 MIP-Cache 域名升級。 在 12 月中旬&#xff0…

新手教程:不寫JS,在MIP頁中實現異步加載數據

從需求談起:在 MIP 頁中異步加載數據 MIP(移動網頁加速器) 的 加速原理 除了靠譜的 MIP-Cache CDN 加速外,最值得一提的就是組件系統。所有 JS 交互都需要使用 MIP 組件實現,保證頁面中所有 JS 都是最精簡高效的&…

日常問題———安裝新版zookeeper 出現Starting zookeeper ... FAILED TO START

問題描述 安裝新版zookeeper使用 /apache-zookeeper-3.6.1.tar.gz解壓后運行zoServer.sh文件時出現Starting zookeeper … FAILED TO START錯誤 解決方案(過程) 實際上應該是下載錯了文件。在官網上有兩個tar.gz文件,從3.5.5版本開始&…

Hadoop的安裝與配置——搭建完全分布式集群

一、搭建集群 1、準備服務器(這里以我的3臺Centos7為例) 1個主節點:Carlota1(192.168.33.21),2個子節點:Carlota2(192.168.33.22),Carlota3(192.168.33.23) 2、配置主節點名 在主節點命令行輸入&#x…

HTTP 視頻怎么在 MIP 頁面中使用?

在 MIP 中,一些資源的使用需要支持 HTTPS,視頻就是其中一種。但目前大部分站點的視頻資源都還是 HTTP 的資源,無法在百度 MIP 搜索結果中直接使用, mip-video 視頻組件針對 HTTP 的視頻資源采用跳到一個 HTTP 的播放頁面進行播放&…

MIP 組件庫升級公告

背景 為了方便廣大開發者們更好地使用組件,現對 MIP 組件庫統一進行升級,升級后將分為通用組件和自定義組件兩類,方便開發。 通用組件,即考慮了組件通用性方便所有開發者參考使用的組件,將存放于 mip-extensions 倉庫…

騰訊云服務器 ubuntu 設置允許root用戶登錄和禁用ubuntu用戶

最近購買了騰訊云服務器,使用了 Ubuntu Server 18.04.1 LTS 64位操作系統,發現默認用戶為ubuntu,而無法用root用戶進行ssh登陸,本篇就記錄一下開通root和禁用ubuntu的過程。 1、設置允許root用戶登錄 使用用戶名ubuntu登錄sudo passwd root…

Ubuntu 修改 hostname

1、vi /etc/cloud/cloud.cfg 2、將preserve_hostname: false修改為preserve_hostname: true 3、hostnamectl set-hostname 主機名 4、reboot重啟系統生效

MIP 技術月報(4月):支持熊掌號登錄;優化頁面懸浮元素

之前由MIP團隊維護的《移動 Web 加速技術月報》從本期開始,正式升級為《MIP 技術月報》,與以往不同的是,《MIP 技術月報》將會與大家分享包含移動加速技術以外的其他移動應用開發的技術,從移動用戶體驗、開發體驗出發來分享 MIP 的…

Ubuntu18.04安裝最新版Docker

卸載舊的docker版本apt-get remove docker docker-engine docker.io containerd runc更新軟件列表apt-get update.允許apt命令可以使用HTTPS訪問Docker repositoryapt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common添加Docker…