8.2.3 开启 Map 输出阶段压缩(中间压缩)

开启 map 输出阶段压缩可以减少 job 中 map 和 Reduce task 间数据传输量。具体配置如下：

注意:

步骤1: 开启 Hive 中间传输数据压缩功能

map 任务和 reduce 任务之间的数据的压缩. hive.exec.compress.intermediate 默认是 false.

set hive.exec.compress.intermediate=true;

步骤2: 开启 mapreduce 中 map 输出压缩功能

set mapreduce.map.output.compress=true;

步骤3: 设置 mapreduce 中 map 输出数据的压缩方式

set mapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;

步骤4: 执行查询语句

select count(ename) name from emp;

由于数据量太小, 所以几乎看不到与不压缩的区别