我正在aws emr集群上运行一个作业，并且遇到了jackson库冲突问题。基于本文，我尝试添加一个引导步骤，用以下脚本设置我的类路径：
# !/bin/bash
export HADOOP_USER_CLASSPATH_FIRST=true;
echo "HADOOP_CLASSPATH=s3n://bucket/myjar.jar" > /home/hadoop/conf/hadoop-user-env.sh我已经构建了jar，以便它包含所有依赖项。执行此操作时遇到的第一个问题是，我的启用调试步骤已结束，并出现以下错误：
Exception in thread "main" java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.amazon.ws.emr.hadoop.fs.EmrFileSystem not found
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1895)
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2427)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2440)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:88)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2479)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2461)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:372)
at com.amazon.elasticmapreduce.scriptrunner.ScriptRunner.fetchFile(ScriptRunner.java:39)
at com.amazon.elasticmapreduce.scriptrunner.ScriptRunner.main(ScriptRunner.java:56)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
Caused by: java.lang.ClassNotFoundException: Class com.amazon.ws.emr.hadoop.fs.EmrFileSystem not found
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1801)
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1893)
... 13 more所以我有两个问题，关于启用调试步骤有什么问题吗？将我的类路径作为s3位置是否有效？如果不是的话，它的价值应该是什么：
/path/to/my.jar是否在上述页面的示例中？
1条答案
按热度按时间falq053o1#
看看你的引导动作，看起来你的字符串可能出错了。该行应如下所示：
注意'>>'字符。单个'>'表示用'echo'命令的输出替换整个文件，而双'>>'表示在脚本末尾附加该行。此外，bash脚本中不需要分号。
参考文献：http://docs.aws.amazon.com/elasticmapreduce/latest/developerguide/emr-hadoop-config_hadoop-user-env.sh.html
ps:amazon的强大支持发现了这个问题并回复了我的邮件；虽然我没有问这个问题。这是作者——aws支持工程师rendy o。