hadoop Mapreduce wordcount 示例 出现 错误

mnemlml8  于 2022-11-21  发布在  Hadoop
关注(0)|答案(1)|浏览(270)

我 使用 了 如下 分步 指南 。 https://phoenixnap.com/kb/install-hadoop-ubuntu
然后 我 试图 运行 mapreduce 字数 文件 的 文本 文件 。 问题 是 , 该 程序 没有 运行 , 我 得到 了 应用 程序 的 AM 容器 和 异常 从 容器 启动 。
有 什么 办法 吗 ?
所有 节点 均 正常 工作 。
6544 Jps 3041 名称 节点 3842 节点 管理 器 3219 数据 节点 3494 辅助 名称 节点 3706 资源 管理 器
下面 是 我 的 应用 程序 的 Yarn 状态 输出 。

doop@contactkarim-VirtualBox:~/hadoop-3.3.1$ yarn app -status application_1667981786519_0006
2022-11-09 11:35:22,184 INFO client.DefaultNoHARMFailoverProxyProvider: Connecting to ResourceManager at /127.0.0.1:8032
2022-11-09 11:35:22,522 INFO conf.Configuration: resource-types.xml not found
2022-11-09 11:35:22,522 INFO resource.ResourceUtils: Unable to find 'resource-types.xml'.
Application Report : 
    Application-Id : application_1667981786519_0006
    Application-Name : word count
    Application-Type : MAPREDUCE
    User : hdoop
    Queue : default
    Application Priority : 0
    Start-Time :  1667982679380
    Finish-Time : 1667982691120
    Progress : 0%
    State : FAILED
    Final-State : FAILED
    Tracking-URL : http://contactkm-VirtualBox:8088/cluster/app/application_1667981786519_0006
    RPC Port : -1
    AM Host : N/A
    Aggregate Resource Allocation : 20250 MB-seconds, 8 vcore-seconds
    Aggregate Resource Preempted : 0 MB-seconds, 0 vcore-seconds
    Log Aggregation Status : DISABLED
    Diagnostics : Application application_1667981786519_0006 failed 2 times due to AM Container for appattempt_1667981786519_0006_000002 exited with  exitCode: 1
Failing this attempt.Diagnostics: [2022-11-09 11:31:31.113]Exception from container-launch.
Container id: container_1667981786519_0006_02_000001
Exit code: 1

[2022-11-09 11:31:31.116]Container exited with a non-zero exit code 1. Error file: prelaunch.err.
Last 4096 bytes of prelaunch.err :
Last 4096 bytes of stderr :
log4j:WARN No appenders could be found for logger (org.apache.hadoop.mapreduce.v2.app.MRAppMaster).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

[2022-11-09 11:31:31.116]Container exited with a non-zero exit code 1. Error file: prelaunch.err.
Last 4096 bytes of prelaunch.err :
Last 4096 bytes of stderr :
log4j:WARN No appenders could be found for logger (org.apache.hadoop.mapreduce.v2.app.MRAppMaster).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

For more detailed output, check the application tracking page: http://contactkarim-VirtualBox:8088/cluster/app/application_1667981786519_0006 Then click on links to logs of each attempt.
. Failing the application.
    Unmanaged Application : false
    Application Node Label Expression : <Not set>
    AM container Node Label Expression : <DEFAULT_PARTITION>
    TimeoutType : LIFETIME  ExpiryTime : UNLIMITED  RemainingTime : -1seconds

中 的 每 一 个
谢谢
我 解决 了 很多 问题 。 我 检查 了 网站 设置 , 检查 了 资源 。 而且 , 我 多次 检查 了 配置 。 权限 等 都 给 出 了 。
我 只 怀疑 这里 的 java 版本 。

5t7ly7z5

5t7ly7z51#

链接的博客没有提到mapreduce,只有集群设置(我总是建议以下官方Apache Hadoop网站,而不是第三方博客)。
No appenders could be found表示您缺少与工作一起提交的log4j.properties档案-请参阅http://logging.apache.org/log4j/1.2/faq.html#noconfig以取得更多信息。
您将无法看到真实的的运行时错误/日志输出,除非您添加了它,例如,如果您已经将自己的maven/gradle构建的jar提交到src/main/resources

相关问题