大量小文件容易在文件存儲端造成瓶頸，影響處理效率。對此，您可以通過合并Map和Reduce的結果文件來處理。?

一、合并小文件的常見場景

1. 寫入時產生小文件：Reduce任務過多或數據量過小，導致每個任務輸出一個小文件。

2. 動態分區插入：分區字段基數高，每個分區生成少量數據，形成大量小文件。

3. 頻繁追加數據：通過INSERT INTO多次追加數據，導致文件碎片化。

二、合并小文件的核心方法

?方法1：調整Reduce任務數量

-- 1. 設置Reduce任務數（根據數據量調整）
SET hive.exec.reducers.bytes.per.reducer=256000000; -- 每個Reduce處理256MB數據
SET hive.exec.reducers.max=1009; -- Reduce最大數量

-- 2. 執行插入操作（自動合并到指定Reduce數）
INSERT OVERWRITE TABLE target_table
SELECT * FROM source_table;

?方法2：啟用Hive自動合并

-- 啟用Map端和Reduce端小文件合并
SET hive.merge.mapfiles = true; ? ? ? ? ?-- Map-only任務結束時合并小文件
SET hive.merge.mapredfiles = true; ? ? ? -- Map-Reduce任務結束時合并小文件
SET hive.merge.size.per.task = 256000000; -- 合并后文件目標大小（256MB）
SET hive.merge.smallfiles.avgsize = 16000000; -- 平均文件小于16MB時觸發合并

-- 執行插入操作（自動合并）
INSERT OVERWRITE TABLE target_table
SELECT * FROM source_table;

?方法3：使用ALTER TABLE ... CONCATENATE（ORC格式專用）

?-- 合并表或分區的ORC文件
ALTER TABLE table_name [PARTITION (partition_key='value')] CONCATENATE;

方法4：重寫數據（通用）?

通過INSERT OVERWRITE重新寫入數據，強制合并文件：?

-- 1. 將數據覆蓋寫入原表（自動合并）
INSERT OVERWRITE TABLE target_table
SELECT * FROM target_table;?

-- 2. 寫入新表后替換舊表
CREATE TABLE new_table AS SELECT * FROM old_table;
DROP TABLE old_table;
ALTER TABLE new_table RENAME TO old_table;

?方法5：使用Hadoop命令合并（手動操作）

?合并HDFS上已有的小文件（需謹慎操作）：

# 1. 合并HDFS文件到本地（合并后需重新加載）
hadoop fs -getmerge /user/hive/warehouse/table_dir/* merged_file.txt
hadoop fs -put merged_file.txt /user/hive/warehouse/table_dir/

# 2. 使用Hive的`hadoop jar`命令合并（針對特定格式）
hadoop jar $HIVE_HOME/lib/hive-exec.jar -Dmapreduce.job.queuename=default \
? -Dmapreduce.map.memory.mb=2048 \
? org.apache.hadoop.hive.ql.io.HiveFileFormatUtils \
? --combine /user/hive/warehouse/table_dir/ /user/hive/warehouse/table_dir_merged/

三、動態分區場景下的優化?

若使用動態分區（如按天、按用戶ID分區），需額外配置：

-- 啟用動態分區模式
SET hive.exec.dynamic.partition = true;
SET hive.exec.dynamic.partition.mode = nonstrict;

-- 設置每個Reduce任務寫入的分區數
SET hive.optimize.sort.dynamic.partition = true;
SET hive.exec.max.dynamic.partitions = 1000;
SET hive.exec.max.dynamic.partitions.pernode = 100;

四、不同文件格式的注意事項

文件格式	合并特點
Text	需通過重寫數據或Hadoop命令合并。
ORC	支持ALTER TABLE ... CONCATENATE快速合并，或重寫數據。
Parquet	只能通過重寫數據合并（如INSERT OVERWRITE）。
RCFile	類似ORC，但無專用合并命令，需重寫數據。

五、最佳實踐?

1. 寫入時預防：

   • 合理設置Reduce任務數，避免過度并行化。

   • 啟用hive.merge參數自動合并小文件。

2. 事后合并：

   • ORC表優先使用ALTER TABLE ... CONCATENATE。

   • 其他格式通過INSERT OVERWRITE重寫數據。

3. 分區管理：

   • 避免過多細粒度分區，定期清理過期數據。

?示例：合并ORC表文件

-- 1. 檢查表格式
DESCRIBE FORMATTED table_name;

-- 2. 合并文件（ORC格式）
ALTER TABLE table_name CONCATENATE;

-- 3. 驗證合并后文件大小
hadoop fs -du -h /user/hive/warehouse/table_dir;

如何調優Hive作業

更多內容請參考 案例云幫助文檔

如何調優Hive作業_開源大數據平臺 E-MapReduce(EMR)-阿里云幫助中心