MapReduce Input Split 輸入分/切片

MapReduce Input Split（輸入分/切片）詳解

public static long getMaxSplitSize(JobContext context) {
return context.getConfiguration().getLong(SPLIT_MAXSIZE,
Long.MAX_VALUE);
}

如果沒有設置這maxsize默認是Long.MAX_VALUE

public static long getMinSplitSize(JobContext job) {
return job.getConfiguration().getLong(SPLIT_MINSIZE, 1L);
}

如果沒有設置這minsize默認是1L

按照這樣的理解，應該是將maxsize設置的小一些（小于blocksiz）那么這個切片就變小了

如果將minisize設置大一些（大于blocksize）那么這個切片就變大了，

設置的方法是

FileInputFormat.setMaxInputSplitSize(job, size);
FileInputFormat.setMinInputSplitSize(job, size);

?切片數和文件在hdfs上的塊數不是一個概念