• 欢迎关注微信公众号:九万里大数据
  • 请使用Ctrl+D收藏本站到书签栏
  • 手机也可访问本站 jwldata.com

标签:Spark

大数据技术

双网卡hadoop集群以外的客户端访问HDFS和提交Spark任务

双网卡hadoop集群以外的客户端访问HDFS和提交Spark任务
场景:hadoop集群双网卡,客户端在集群外,客户端只能访问外网IP。默认客户端连接hadoop是通过IP地址的,即使在客户端配置的/etc/hosts里为外网IP和域名的映射关系,也会连内网IP,导致无法访问datanode的1004端口,无法实现文件的上传和下载。为了在hadoop集群内能使用内网网卡,hadoop集群外能使用外网网卡,充分利用网络带宽,……继续阅读 »

九万里大数据 2年前 (2021-05-03) 1174浏览 0评论2个赞

大数据技术

Spark客户端安装配置

Spark客户端安装配置
虽然通过CDH控制台可以很方便地安装spark客户端,但如果客户端机器并不属于自己管辖,通过这种先安装cloudera manager agent再安装spark客户端的方式显然不妥当。在这种情形下,用户自己安装配置spark客户端,是最好的方式。安装JDK首先需要安装JDK配置hosts将服务端的hosts全部配置,添加到客户端的/etc/host……继续阅读 »

九万里大数据 2年前 (2021-04-29) 1453浏览 0评论4个赞