虽然通过CDH控制台可以很方便地安装hadoop客户端,但如果客户端机器并不属于自己管辖,通过这种先安装cloudera manager agent再安装hadoop客户端的方式显然不妥当。在这种情形下,用户自己安装配置hadoop客户端,是最好的方式。
安装JDK
首先需要安装JDK
配置hosts
将服务端的hosts全部配置,添加到客户端的/etc/hosts中。
下载安装包
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.16.2.tar.gz
目前没有账号的话,已无法通过cloudera官网下载。我传了一份到百度网盘,下载地址见本文末尾。
当然,下载apache官网安装包,也是可以的。
https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
安装Hadoop客户端
解压赋权
tar -zxf hadoop-2.6.0-cdh5.16.2.tar.gz -C /opt
sudo chown -R root:root /opt/hadoop-2.6.0-cdh5.16.2
添加环境变量
/etc/profile追加
# JDK
export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64
# Hadoop
export HADOOP_HOME=/opt/hadoop-2.6.0-cdh5.16.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
source /etc/profile
替换配置文件
从CDH控制台下载HDFS的配置文件,将hdfs-clientconfig.zip里面的所有文件,拷贝到/opt/hadoop-2.6.0-cdh5.16.2/etc/hadoop下替换已有文件。
从CDH控制台下载YARN的配置文件,将yarn-clientconfig.zip中的yarn-site.xml,拷贝到/opt/hadoop-2.6.0-cdh5.16.2/etc/hadoop下替换yarn-site.xml。
验证测试
hdfs dfs -ls /user
下载地址
hadoop-2.6.0-cdh5.16.2.tar.gz下载地址:
此处内容已被隐藏,扫码关注微信公众号,发送【九万里】获取验证码解锁