Hadoop學習之路(十八)MapReduce框架Combiner分區

對combiner的理解

combiner其實屬于優化方案,由于帶寬限制,應該盡量map和reduce之間的數據傳輸數量。它在Map端把同一個key的鍵值對合并在一起并計算,計算規則與reduce一致,所以combiner也可以看作特殊的Reducer。

執行combiner操作要求開發者必須在程序中設置了combiner(程序中通過job.setCombinerClass(myCombine.class)自定義combiner操作)。

Combiner組件是用來做局部匯總的,就在mapTask中進行匯總;Reducer組件是用來做全局匯總的,最終的,最后一次匯總。

哪里使用combiner?

1,map輸出數據根據分區排序完成后,在寫入文件之前會執行一次combine操作(前提是作業中設置了這個操作);

2,如果map輸出比較大,溢出文件個數大于3(此值可以通過屬性min.num.spills.for.combine配置)時,在merge的過程(多個spill文件合并為一個大文件)中前還會執行combiner操作;

注意事項

不是每種作業都可以做combiner操作的,只有滿足以下條件才可以:

1、Combiner 只能對 一個mapTask的中間結果進行匯總

2、如果想使用Reducer直接充當Combiner,那么必須滿足: Reducer的輸入和輸出key-value類型是一致的。

1)處于兩個不同節點的mapTask的結果不能combiner到一起

2)處于同一個節點的兩個MapTask的結果不能否combiner到一起

3)求最大值、求最小值、求和、去重時可直接使用Reducer充當Combiner,但是求平均值時不能直接使用Reducer充當Combiner。

  原因:對2組值求平均值

  2 3 4 5 6 == 20 / 5 == 4


  4 5 6 == 15 / 3 == 5

  ***********************************************************************

  20+15 / 5+3 = 35 / 8


  4.5

?

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/255149.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/255149.shtml
英文地址,請注明出處:http://en.pswp.cn/news/255149.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

cocos2dx游戲--歡歡英雄傳說--添加攻擊按鈕

接下來添加攻擊按鈕用于執行攻擊動作。同時修復了上一版移動時的bug。修復后的Player::walkTo()函數: void Player::walkTo(Vec2 dest) {if (_seq)this->stopAction(_seq);auto curPos this->getPosition();if (curPos.x > dest.x)this->setFlippedX(t…

Yii2.0 rules常用驗證規則

設置一個修改方法,但是save(),沒有成功,數據修改失敗,查了好久,一般情況就是不符合rules規則,而我沒有設置rules規則,重新設置了一個不能為空,然后就修改成功…

HALCON示例程序gray_features.hdev提取灰度圖的不同特征(area_center_gray 、elliptic_axis_gray)

HALCON示例程序gray_features.hdev提取灰度圖的不同特征(area_center_gray 、elliptic_axis_gray) 示例程序源碼(加注釋) 讀入圖片 read_image (Image, ‘monkey’)二值化 threshold (Image, Region, 128, 255)分割連通域 conne…

Machine Vision Pixel Calibration~ ~ ~ ~ ~ ~ ~ ~ ~ ~

Artificial Intelligence and Robotics Research人工智能與機器人研究, 2014, 3, 25-33Published Online May 2014 in Hans. http://www.hanspub.org/journal/airrhttp://dx.doi.org/10.12677/airr.2014.32005

Ceph分布式存儲系統-性能測試與優化

測試環境 部署方案:整個Ceph Cluster使用4臺ECS,均在同一VPC中,結構如圖: 以下是 Ceph 的測試環境,說明如下: Ceph 采用 10.2.10 版本,安裝于 CentOS 7.4 版本中;系統為初始安裝&…

mysql考試總結

USE school; -- 班級表 CREATE TABLE class(cid TINYINT PRIMARY KEY AUTO_INCREMENT,caption VARCHAR(20) );INSERT INTO class(caption) VALUES("三年二班"),("一年三班"),("三年一班");SELECT * FROM class;-- 老師表 CREATE TABLE teacher(t…

反思

1.說明一下ArrayList和數組的區別,并且分別寫出初始化的語句: ArrayList:可以放不同的類型,長度不固定 數組:放同一類型,長度固定 數組的初始化語句:int []anew int []{}; ArrayList初始化語句:…

HALCON示例程序high.hdev使用不同方法提取區域

HALCON示例程序high.hdev使用不同方法提取區域 示例程序源碼(加注釋) 關于顯示類函數解釋 dev_close_window () read_image (Mreut, ‘mreut_y’) get_image_size (Mreut, Width, Height) dev_open_window (0, 0, Width, Height, ‘black’, WindowHan…

閱讀好書依然是提升自己的高效方法:兼以作者的身份告訴大家如何選擇書,以及高效學習的方法...

國內技術網站多如牛毛,質量高的網站也不少,博客園也算一個,各類文章數以百萬計,我隨便輸入一個關鍵字,比如Spring Cloud,都能看到大量的技術文章和教學視頻,我無意貶低技術文章和教學視頻的作用…

TCP/IP 協議簇的逐層封裝

在使用 TCP 協議的網絡程序中,用戶數據從產生到從網卡發出去一般要經過如下的逐層封裝過程: 從下往上看: 1)鏈路層通過加固定長度的首部、尾部來封裝 IP 數據報(Datagram) 產生以太網幀(Frame)。 其中首部存在對封裝數據的…

【開源程序(C++)】獲取bing圖片并自動設置為電腦桌面背景

眾所周知,bing搜索網站首頁每日會更新一張圖片,張張漂亮(額,也有一些不合我口味的),特別適合用來做電腦壁紙。 我們想要將bing網站背景圖片設置為電腦桌面背景的通常做法是: 上網,搜…

UIProgressView 圓角

里面外面都變成圓角 不用圖片 直接改變layer 重點是里面外面都是圓角哦 for (UIImageView * imageview in self.progress.subviews) { imageview.layer.cornerRadius 5; imageview.clipsToBounds YES; } 轉載于:https://www.cnblogs.com/huoran1120/p/5563991.html

HALCON示例程序holes.hdev孔洞提取

HALCON示例程序holes.hdev孔洞提取 示例程序源碼(加注釋) 關于顯示類函數解釋 read_image (Image, ‘progres’) get_image_size (Image, Width, Height) dev_close_window () dev_open_window (0, 0, Width, Height, ‘white’, WindowID) dev_set_co…

給實例動態增加方法VS給類動態增加方法

一、給實例綁定方法 object.method MethodType(method,object) >>>class Badbrains(): pass >>>def mocking(self): print(Brain\s Mocking) >>>b Badbrains() >>>from types import MethodType >>>b.mocking MethodType(moc…

一句DOS命令搞定文件合并

用Dos的copy命令實現: copy a.jsb.jsc.js abc.js /b 將 a.js b.js c.js 合并為一個 abc.js,最后的 /b 表示文件為二進位文件,copy 命令的其它參數可以在 cmd 里輸入 copy /? 學習 舉例:如果想要合并多個js文件到某個目錄下&#…

DataTables warning: Requested unknown parameter '0' from the data source for row '0'

問題&#xff1a;DataTables warning: Requested unknown parameter 0 from the data source for row 0 代碼&#xff1a; <script type"text/javascript">var data [{"Name":"UpdateBootProfile","Result":"PASS",&…

HALCON示例程序hull.hdev區域提取與凸度篩選

HALCON示例程序hull.hdev區域提取與凸度篩選 示例程序源碼&#xff08;加注釋&#xff09; 關于顯示類函數解釋 read_image (Hull, ‘hull’) get_image_size (Hull, Width, Height) dev_close_window () dev_open_window (0, 0, Width, Height, ‘black’, WindowID) dev_di…

我與Linux系統的交集

2019獨角獸企業重金招聘Python工程師標準>>> 一、初識Linux 第一次知道Linux還是在我剛進大學的時候&#xff0c;從開始聊QQ、玩斗地主的時候起我就是用的Windows&#xff0c;從Windows2000一直到Windows7&#xff0c;當時我已經完全習慣了使用Windows&#xff0c;而…

squid白名單

http_access deny all #取消注釋 http_access allow all --> http_access allow xxx_custom_ip#添加系統服務器IP白名單 acl xdaili_custom_ip src 60.191.4.xxx/32 acl xdaili_custom_ip src 139.196.210.xxx/32 acl xdaili_custom_ip src 139.196.172.xxx/32 acl xdail…

HALCON示例程序IC.hdev通過電路板元器件定位識別

HALCON示例程序IC.hdev通過電路板元器件定位識別 示例程序源碼&#xff08;加注釋&#xff09; 關于顯示類函數解釋 dev_close_window () read_image (Image, ‘ic’) get_image_size (Image, Width, Height) dev_open_window (0, 0, Width, Height, ‘black’, WindowID) de…