使用管道和bash脚本在hadoophdinsight中编写map reduce

r1wp621o  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(186)

我试图在hadoop流媒体hdinsight中做一个map reduce工作。我采用的方法是,我有一个Map器,它通过管道传输我创建的许多其他脚本(bash和python),最终得到key\tvalue选项。我正在按预期将所有文件复制到所有节点。但是,我不断得到下面显示的错误。原因可能是什么?bash中的管道是否存在问题?

  1. Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
  2. at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:322)
  3. at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:535)
  4. at org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:130)
  5. at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61)
  6. at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)
  7. at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:453)
  8. at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
  9. at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:170)
  10. at java.security.AccessController.doPrivileged(Native Method)
  11. at javax.security.auth.Subject.doAs(Subject.java:422)
  12. at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1866)
  13. at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:164)

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题