一.背景:

因为公司使用的调度平台是没有加入到CDH集群,所以只复制了/opt/cdh下的所有文件到调度平台的work节点,公司的平台一直使用的是MR引擎为调度,上周接到一个项目,必须跑spark,调度平台执行了以后报错找不到hive on spark找不到spark的客户端.

FAILED: Execution Error,return code 30041 from org.apache.hadoophive,gl.exec,spark.Sparktask, Failed to create Spark client
9d-ad23-19ac3d31e4ec_0: java,lang.ClassNotFoundException: org.apache.spark.network,util.ByteUnit

二.解决方案:

1.在客户端的机器上执行spark-shell命令,报无此命令

2.打开profile文件

vim /etc/profile

3.设置spark客户端配置路径和bin

4.souce /etc/profile

5.重新提交spark任务问题解决

知识点.

出现此类问题的主要原因是因为我在观察使用hue执行的时候,是可以执行成功的.

然后在调度上执行不成功,主要就是因为没有配置spark的客户端导致的.