如何找到jar:/home/hadoop/contrib/streaming/hadoop-streaming.jar

t5zmwmid  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(433)

我正在练习一个视频教程,从复数视觉关于亚马逊电子病历。我被卡住了,因为我不能继续,因为我得到了这个错误 Not a valid JAR: /home/hadoop/contrib/streaming/hadoop-streaming.jar 请注意,教程是旧的,它是使用旧的电子病历版本。我用的是最新版本,有问题吗?
我采取的步骤是在putty中输入凭证之后
1) hadoop软件
2) mkdir流化代码3) wget-o./streamingcode/wordsplitter.py s3://elasticmapreduce/samples/wordcount/wordsplitter.py 4) hadoop jar contrib/streaming/hadoop-streaming.jar-files streamingcode/wordsplitter.py-mapper wordsplitter.py input s3://elasticmapreduce/samples/wordcount/input-output streamingcode/wordcountout-reducer aggregate
我无法执行步骤4,因为我得到以下错误 Not a valid JAR: /home/hadoop/contrib/streaming/hadoop-streaming.jar

szqfcxe2

szqfcxe21#

hadoop流jar在emr hadoop的最新版本中仍然可用。从emr 4.0.0版开始,可以在 /usr/lib/hadoop-mapreduce/hadoop-streaming.jar .
关于版本间差异的另一个很好的资源可以在http://docs.aws.amazon.com/elasticmapreduce/latest/releaseguide/emr-release-differences.html.

vpfxa7rd

vpfxa7rd2#

对于变量hadoop\u streaming,根据您使用的hdp获取路径要复杂一些。
通过命令find/-name'hadoop streaming*.jar'搜索它所在的位置
src公司:http://thecoatlessprofessor.com/programming/installing-r-studio-server-on-hortonworks-virtual-box-image-and-rmr2-a-k-a-rhadoop-r-package/

相关问题