我是cloudera的新手，正在尝试将工作负载从运行带有livy和spark 2.2.x的ambari的hdp服务器转移到具有类似设置的cdh 5服务器。由于livy不是cloudera的一个组件，所以我使用的是他们网站上的0.5.0版本，运行在与yarn、spark和hdfs masters相同的服务器上。
长话短说，当我试图向livy提交时，我得到以下错误信息：

Diagnostics: File file:/home/livy/livy-0.5.0-incubating-bin/rsc-jars/livy-rsc-0.5.0-incubating.jar does not exist
java.io.FileNotFoundException: File file:/home/livy/livy-0.5.0-incubating-bin/rsc-jars/livy-rsc-0.5.0-incubating.jar does not exist
    at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:598)
    at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:811)
    at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:588)
    at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:432)
    at org.apache.hadoop.yarn.util.FSDownload.copy(FSDownload.java:251)
    at org.apache.hadoop.yarn.util.FSDownload.access$000(FSDownload.java:61)
    at org.apache.hadoop.yarn.util.FSDownload$2.run(FSDownload.java:364)
    at org.apache.hadoop.yarn.util.FSDownload$2.run(FSDownload.java:362)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1920)
    at org.apache.hadoop.yarn.util.FSDownload.call(FSDownload.java:361)
    at org.apache.hadoop.yarn.util.FSDownload.call(FSDownload.java:60)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)

Failing this attempt. Failing the application.

它所引用的jar是livy安装的一部分，显然是存在的。看起来在这个过程中的某个时刻，hadoop正在寻找一个带有url的文件 file:/home... 而不仅仅是 /home... 或者 file:///home... ，但我不确定这是否相关，因为这可能是hdfs的有效路径。我已经从源代码构建了livy的多个版本，修改了启动脚本并对其进行了远程调试，但是这个错误似乎发生在spark的某个地方。
这是我的 livy.conf 文件：

# What spark master Livy sessions should use.

livy.spark.master = yarn

# What spark deploy mode Livy sessions should use.

livy.spark.deploy-mode = cluster

livy.file.upload.max.size  300000000

以及 livy-env.sh :

export HADOOP_CONF_DIR=/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/etc/hadoop
export SPARK_HOME=/opt/cloudera/parcels/SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957/lib/spark2
export HADOOP_HOME=/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop

旧集群使用hadoop2.7.3.2.6.5.0-141和spark2.2.1。新集群运行的是hadoop2.6.0-cdh5.14.2和spark2.2.0.cloudera2。使用旧集群的livy发行版以及cloudera自己的livy发行版都会产生相同的基本错误。同样，所有这些东西在以前的hdp/ambari集群上都工作得很好。
所有这些jar文件都存在于每个节点的该路径上，我也用hdfs中的jar尝试过这种方法——livy提取它们，然后为提取的jar给出相同的错误消息。我也尝试了一些有权限的东西，但似乎都不管用。例如，我得到：

18/06/09 00:13:12 INFO util.LineBufferedStream: (stdout: ,18/06/09 00:13:11 INFO yarn.Client: Uploading resource hdfs://some-server:8020/user/livy/jars/livy-examples-0.4.0-SNAPSHOT.jar -> file:/home/livy/.spar
kStaging/application_1528398117244_0054/livy-examples-0.4.0-SNAPSHOT.jar)

从livy的输出，然后是。。。

Diagnostics: File file:/home/livy/.sparkStaging/application_1528398117244_0054/livy-examples-0.4.0-SNAPSHOT.jar does not exist
java.io.FileNotFoundException: File file:/home/livy/.sparkStaging/application_1528398117244_0054/livy-examples-0.4.0-SNAPSHOT.jar does not exist
at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:598)
...

从Yarn不可避免的失败。
有人有什么想法吗？我很乐意听到livy的替代品，如果有的话。。。