CDH6.3.0 SPARK-SHELL启动报错
  TEZNKK3IfmPf 2023年11月12日 81 0

前言
在正常的CDH6.3.0后台运行spark-shell进入scala交互界面报错。

报错信息:
报错信息如下:

Exception in thread "main" org.apache.spark.SparkException: Cluster deploy mode is not applicable to Spark shells.
    at org.apache.spark.deploy.SparkSubmit.error(SparkSubmit.scala:857)
    at org.apache.spark.deploy.SparkSubmit.prepareSubmitEnvironment(SparkSubmit.scala:292)
    at org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:143)
    at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)
    at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:924)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:933)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
 

解决方案
使用命令:

spark-shell --master yarn --deploy-mode client
 
运行成功进入交互页面

原因是因为spark2-shell运行在yarn上面,需要指定模式yarn-client,如果指定yarn-cluster,则会报错:

Error: Cluster deploy mode is not applicable to Spark shells.

因为spark-shell作为一个与用户交互的命令行,必须将Driver运行在本地,而不是yarn上。

其中的参数与提交Spark应用程序到yarn上用法一样。
CDH6.3.0 SPARK-SHELL启动报错

启动时生成的都是这个ID: application_1628228012328_0003

CDH6.3.0 SPARK-SHELL启动报错

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月12日 0

暂无评论

推荐阅读
  TEZNKK3IfmPf   2023年11月13日   29   0   0 sparkHive
  TEZNKK3IfmPf   2023年11月13日   33   0   0 hdfssparkHive
  TEZNKK3IfmPf   2023年11月13日   20   0   0 sparkHivecdh
  TEZNKK3IfmPf   2023年11月12日   23   0   0 spark
TEZNKK3IfmPf