• 欢迎关注微信公众号:九万里大数据
  • 请使用Ctrl+D收藏本站到书签栏
  • 手机也可访问本站 jwldata.com

Address already in use Service ‘SparkUI’ failed after 16 retries

大数据技术 九万里大数据 2年前 (2021-07-19) 654次浏览 0个评论 扫描二维码
Address already in use: Service 'SparkUI' failed after 16 retries (starting from 4040)! Consider explicitly setting the appropriate port for the service 'SparkUI' (for example spark.ui.port for SparkUI) to an available port or increasing spark.port.maxRetries.

描述:
spark通过client模式提交任务,每一个Spark任务都会占用一个SparkUI端口,默认为4040,如果被占用则依次递增端口重试。但是有个默认重试次数,为16次。16次重试都失败后,会放弃该任务的运行。

解决(三选一):

1.初始化SparkConf时,添加conf.set("spark.port.maxRetries","100")语句
2.使用spark-submit提交任务时,在命令行中添加-Dspark.port.maxRetries=100
3.在全局的spark-defaults.conf中添加spark.port.maxRetries 100

欢迎关注我的微信公众号“九万里大数据”,原创技术文章第一时间推送。
欢迎访问原创技术博客网站 jwldata.com,排版更清晰,阅读更爽快。


Address already in use Service 'SparkUI' failed after 16 retries
 


本站文章,如未注明,均为原创 | 原创文章版权归九万里大数据所有,未经许可不得转载。
本文链接:Address already in use Service ‘SparkUI’ failed after 16 retries
喜欢 (0)

您必须 登录 才能发表评论!