hive on spark报timed out waiting for connection from the Remote Spark Driver解决方案
  TEZNKK3IfmPf 2023年11月13日 21 0
[INFO] 2022-03-09 00:55:34.227  - [taskAppId=TASK-122-55596-532256]:[138] -  -> FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 1c5c0ae6-d56d-47b3-ae5a-d85fd941b14e_0: java.util.concurrent.TimeoutException: Client '1c5c0ae6-d56d-47b3-ae5a-d85fd941b14e_0' timed out waiting for connection from the Remote Spark Driver

Client '1c5c0ae6-d56d-47b3-ae5a-d85fd941b14e_0' timed out waiting for connection from the Remote Spark Driver

报错的原因是连接5分钟超时

解决方案:

hive on spark报timed out waiting for connection from the Remote Spark Driver解决方案

hive on spark报timed out waiting for connection from the Remote Spark Driver解决方案

调整的参数:

hive.spark.client.server.connect.timeout=300000

hive.spark.client.connect.timeout=30000

hive.spark.client.future.timeout=1200

调整后调整中的任务无报错。

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月13日 0

暂无评论

推荐阅读
  TEZNKK3IfmPf   2023年11月14日   22   0   0 Hive
  TEZNKK3IfmPf   2023年11月14日   20   0   0 mysqlHive
  TEZNKK3IfmPf   2023年11月14日   31   0   0 Hive视图
  TEZNKK3IfmPf   2023年11月14日   21   0   0 hadoopHive
  TEZNKK3IfmPf   2024年04月26日   63   0   0 hadoopHive
TEZNKK3IfmPf