1、不是所有的MR都適合combine
1.1、map端統計出了不同班級的每個學生的年齡
如：(class1, 14)表示class1班的一個學生的年齡是14歲。
第一個map任務：
class1 14
class1 15
class1 16
class2 10
第二個map任務：
class1 16
class2 10
class2 11
平均年齡：
class1: ((14+15+16)+16)/4 = 61/4 = 15.25
class2: (10+10+11)/3 = 10.333
1.2、若強制使用combine的話。
第一個map任務：
class1 14
class1 15
class1 16
class2 10
==>平均值：
class1: (14+15+16)/3 = 15
class2: 10/1 = 10
第二個map任務：
class1 16
class2 10
class2 11
==>平均值：
class1: 16/1 = 16
class2: (10+11)/2 =10.5
平均年齡：
==>匯總求平均值：
class1: (15+16)/2 =15.5
class2: (10+10.5) = 10.25
比對結果：
class1: 15.25不等于15.5
class2: 10.333不等于10.25
1.3、結論：并非所有MR都適合combine操作
2、reduce端merge 排序 分組
第一個map輸出
(hadoop,1)
(hadoop,1)
(hive,1)
第二個map輸出
(hadoop,1)
(hive,1)
第三個map輸出
(hadoop,1)
(hive,1)
(hive,1)
–>merge
(hadoop,1)
(hadoop,1)
(hive,1)
(hadoop,1)
(hive,1)
(hadoop,1)
(hive,1)
(hive,1)
–>排序
(hadoop,1)
(hadoop,1)
(hadoop,1)
(hadoop,1)(hive,1)
(hive,1)
(hive,1)
(hive,1)
–>分組
一組
(hadoop,1)
(hadoop,1)
(hadoop,1)
(hadoop,1)
二組
(hive,1)
(hive,1)
(hive,1)
(hive,1)
–>每組調用一次reduce方法
(hadoop,1)
(hadoop,1) -> hadoop, Iterable(1,1,1,1) -> reduce(hadoop, Iterable(1,1,1,1), context){...}
(hadoop,1)
(hadoop,1)
??3、wordcount+combine過程
??4、wordcount shuffle
5、grouping
6、自定義OutputFormat
