hadoop Mapreduce wordcount 示例 出现 错误

mnemlml8  于 2022-11-21  发布在  Hadoop
关注(0)|答案(1)|浏览(326)

我 使用 了 如下 分步 指南 。 https://phoenixnap.com/kb/install-hadoop-ubuntu
然后 我 试图 运行 mapreduce 字数 文件 的 文本 文件 。 问题 是 , 该 程序 没有 运行 , 我 得到 了 应用 程序 的 AM 容器 和 异常 从 容器 启动 。
有 什么 办法 吗 ?
所有 节点 均 正常 工作 。
6544 Jps 3041 名称 节点 3842 节点 管理 器 3219 数据 节点 3494 辅助 名称 节点 3706 资源 管理 器
下面 是 我 的 应用 程序 的 Yarn 状态 输出 。

  1. doop@contactkarim-VirtualBox:~/hadoop-3.3.1$ yarn app -status application_1667981786519_0006
  2. 2022-11-09 11:35:22,184 INFO client.DefaultNoHARMFailoverProxyProvider: Connecting to ResourceManager at /127.0.0.1:8032
  3. 2022-11-09 11:35:22,522 INFO conf.Configuration: resource-types.xml not found
  4. 2022-11-09 11:35:22,522 INFO resource.ResourceUtils: Unable to find 'resource-types.xml'.
  5. Application Report :
  6. Application-Id : application_1667981786519_0006
  7. Application-Name : word count
  8. Application-Type : MAPREDUCE
  9. User : hdoop
  10. Queue : default
  11. Application Priority : 0
  12. Start-Time : 1667982679380
  13. Finish-Time : 1667982691120
  14. Progress : 0%
  15. State : FAILED
  16. Final-State : FAILED
  17. Tracking-URL : http://contactkm-VirtualBox:8088/cluster/app/application_1667981786519_0006
  18. RPC Port : -1
  19. AM Host : N/A
  20. Aggregate Resource Allocation : 20250 MB-seconds, 8 vcore-seconds
  21. Aggregate Resource Preempted : 0 MB-seconds, 0 vcore-seconds
  22. Log Aggregation Status : DISABLED
  23. Diagnostics : Application application_1667981786519_0006 failed 2 times due to AM Container for appattempt_1667981786519_0006_000002 exited with exitCode: 1
  24. Failing this attempt.Diagnostics: [2022-11-09 11:31:31.113]Exception from container-launch.
  25. Container id: container_1667981786519_0006_02_000001
  26. Exit code: 1
  27. [2022-11-09 11:31:31.116]Container exited with a non-zero exit code 1. Error file: prelaunch.err.
  28. Last 4096 bytes of prelaunch.err :
  29. Last 4096 bytes of stderr :
  30. log4j:WARN No appenders could be found for logger (org.apache.hadoop.mapreduce.v2.app.MRAppMaster).
  31. log4j:WARN Please initialize the log4j system properly.
  32. log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
  33. [2022-11-09 11:31:31.116]Container exited with a non-zero exit code 1. Error file: prelaunch.err.
  34. Last 4096 bytes of prelaunch.err :
  35. Last 4096 bytes of stderr :
  36. log4j:WARN No appenders could be found for logger (org.apache.hadoop.mapreduce.v2.app.MRAppMaster).
  37. log4j:WARN Please initialize the log4j system properly.
  38. log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
  39. For more detailed output, check the application tracking page: http://contactkarim-VirtualBox:8088/cluster/app/application_1667981786519_0006 Then click on links to logs of each attempt.
  40. . Failing the application.
  41. Unmanaged Application : false
  42. Application Node Label Expression : <Not set>
  43. AM container Node Label Expression : <DEFAULT_PARTITION>
  44. TimeoutType : LIFETIME ExpiryTime : UNLIMITED RemainingTime : -1seconds

中 的 每 一 个
谢谢
我 解决 了 很多 问题 。 我 检查 了 网站 设置 , 检查 了 资源 。 而且 , 我 多次 检查 了 配置 。 权限 等 都 给 出 了 。
我 只 怀疑 这里 的 java 版本 。

5t7ly7z5

5t7ly7z51#

链接的博客没有提到mapreduce,只有集群设置(我总是建议以下官方Apache Hadoop网站,而不是第三方博客)。
No appenders could be found表示您缺少与工作一起提交的log4j.properties档案-请参阅http://logging.apache.org/log4j/1.2/faq.html#noconfig以取得更多信息。
您将无法看到真实的的运行时错误/日志输出,除非您添加了它,例如,如果您已经将自己的maven/gradle构建的jar提交到src/main/resources

相关问题