• 欢迎关注微信公众号:九万里大数据
  • 请使用Ctrl+D收藏本站到书签栏
  • 手机也可访问本站 jwldata.com

Hadoop客户端安装配置(hadoop-2.6.0-cdh5.16.2)

大数据技术 九万里大数据 1年前 (2021-04-28) 1283次浏览 0个评论 扫描二维码
文章目录[隐藏]

虽然通过CDH控制台可以很方便地安装hadoop客户端,但如果客户端机器并不属于自己管辖,通过这种先安装cloudera manager agent再安装hadoop客户端的方式显然不妥当。在这种情形下,用户自己安装配置hadoop客户端,是最好的方式。

安装JDK

首先需要安装JDK

配置hosts

将服务端的hosts全部配置,添加到客户端的/etc/hosts中。

下载安装包

http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.16.2.tar.gz
目前没有账号的话,已无法通过cloudera官网下载。我传了一份到百度网盘,下载地址见本文末尾

当然,下载apache官网安装包,也是可以的。
https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz

安装Hadoop客户端

解压赋权

tar -zxf hadoop-2.6.0-cdh5.16.2.tar.gz -C /opt
sudo chown -R root:root /opt/hadoop-2.6.0-cdh5.16.2

添加环境变量

/etc/profile追加
# JDK
export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64
 
# Hadoop
export HADOOP_HOME=/opt/hadoop-2.6.0-cdh5.16.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
 
source /etc/profile

替换配置文件

从CDH控制台下载HDFS的配置文件,将hdfs-clientconfig.zip里面的所有文件,拷贝到/opt/hadoop-2.6.0-cdh5.16.2/etc/hadoop下替换已有文件。
Hadoop客户端安装配置(hadoop-2.6.0-cdh5.16.2)

从CDH控制台下载YARN的配置文件,将yarn-clientconfig.zip中的yarn-site.xml,拷贝到/opt/hadoop-2.6.0-cdh5.16.2/etc/hadoop下替换yarn-site.xml。
Hadoop客户端安装配置(hadoop-2.6.0-cdh5.16.2)

验证测试

hdfs dfs -ls /user

下载地址

hadoop-2.6.0-cdh5.16.2.tar.gz下载地址:

Hadoop客户端安装配置(hadoop-2.6.0-cdh5.16.2)


本站文章,如未注明,均为原创 | 原创文章版权归九万里大数据所有,未经许可不得转载。
本文链接:Hadoop客户端安装配置(hadoop-2.6.0-cdh5.16.2)
喜欢 (10)

您必须 登录 才能发表评论!