9.2 本地模式
大多数的 Hadoop Job是需要 Hadoop 提供的完整的可扩展性来处理大数据集的。
不过,有时 Hive 的输入数据量是非常小的。在这种情况下,为查询触发执行任务消耗的时间可能会比实际 job 的执行时间要多的多。
对于大多数这种情况,Hive 可以通过本地模式在单台机器上处理所有的任务。对于小数据集,执行时间可以明显被缩短。
用户可以通过设置 hive.exec.mode.local.auto
的值为true
,来让 Hive 在适当的时候自动启动这个优化。
set hive.exec.mode.local.auto=true; //开启本地mr
//设置local mr的最大输入数据量,当输入数据量小于这个值时采用local mr的方式,默认为134217728,即128M
set hive.exec.mode.local.auto.inputbytes.max=50000000;
//设置local mr的最大输入文件个数,当输入文件个数小于这个值时采用local mr的方式,默认为4
set hive.exec.mode.local.auto.input.files.max=10;
开启本地模式
set hive.exec.mode.local.auto=true;
select * from emp cluster by deptno;
关闭本地模式
set hive.exec.mode.local.auto=false;
select * from emp cluster by deptno;