分3步完成
1.需要使用root安装liblzo动态链接库
#root
cp ./lib64/liblzo2.so.2.0.0 /lib64
cd /lib64/
ln -s liblzo2.so.2.0.0 liblzo2.so
ln -s liblzo2.so.2.0.0 liblzo2.so.2
--检查下是否拷贝进去了
ls -l /lib64|grep lzo|wc -l
3
2.hive用户安装gpl jar包和本地库
su - username
--jar
cp ./hadoop-gpl-compression-0.1.0-dev.jar $HADOOP_HOME/lib
-- local library
cp ./Linux-amd64-64.tar $HADOOP_HOME/lib/native
cp ./Linux-i386-32.tar $HADOOP_HOME/lib/native
cd $HADOOP_HOME/lib/native
tar -xf Linux-amd64-64.tar
tar -xf Linux-i386-32.tar
ls -l Linux-amd64-64|wc -l
ls -l Linux-i386-32|wc -l
3.修改两个配置文件
cd $HADOOP_CONF_DIR
修改hadoop配置文件 $HADOOP_CONF_DIR/core-site.xml
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,org.apache.hadoop.io.compress.BZip2Codec</value>
</property>
<property>
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
修改hadoop配置文件 $HADOOP_CONF_DIR/mapred-site.xml (包含慢启动)
<property>
<name>mapred.reduce.slowstart.completed.maps</name>
<value>0.3</value>
</property>
<property>
<name>mapred.compress.map.output</name>
<value>true</value>
</property>
<property>
<name>mapred.map.output.compression.codec</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
分享到:
相关推荐
配置hadoop支持LZO和snappy压缩
hadoop2 lzo 文件 ,编译好的64位 hadoop-lzo-0.4.20.jar 文件 ,在mac 系统下编译的,用法:解压后把hadoop-lzo-0.4.20.jar 放到你的hadoop 安装路径下的lib 下,把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...
hadoop-lzo-0.4.21-SNAPSHOT.jar是hadoop数据压缩lzo工具包
编译后的hadoop-lzo源码,将hadoop-lzo-0.4.21-SNAPSHOT.jar放到hadoop的classpath下 如${HADOOP_HOME}/share/hadoop/common。hadoop才能正确支持lzo,免去编译的烦恼
将生成的 build/hadoop-lzo-0.4.15.jar cp 到 /usr/local/hadoop-1.0.2/lib 测试解压程序 bin/hadoop jar /usr/local/hadoop-1.0.2/lib/hadoop-lzo-0.4.15.jar ...
hadoop-lzo-0.4.13.jar 依赖包 hadoop-lzo-0.4.13.jar 依赖包 hadoop-lzo-0.4.13.jar 依赖包
hadoop2 lzo 文件 ,编译好的64位 hadoop-lzo-0.4.15.jar 文件 ,在mac 系统下编译的,用法:解压后把hadoop-lzo-0.4.15.jar 放到你的hadoop 安装路径下的lib 下,把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...
Hadoop经常用于处理大量的数据,如果期间的输出数据、中间数据能压缩存储,对系统的I/O性能会有提升。综合考虑压缩、解压速度、是否支持split,目前lzo是最好的选择。LZO(LZO是Lempel-Ziv-Oberhumer的缩写)是一种...
hadoop-lzo-0.4.15.tar.gz
LZO:实时数据压缩库 hadoop-LZO:hadoop中可切割数据的LZO压缩 资源包含:lzo-2.06.tar.gz, hadoop-lzo-master.zip
Hadoop IO操作压缩的lzo算法的jar包,中间包含LzoCodec,和LzoPCodec