我 使用 了 如下 分步 指南 。 https://phoenixnap.com/kb/install-hadoop-ubuntu
然后 我 试图 运行 mapreduce 字数 文件 的 文本 文件 。 问题 是 , 该 程序 没有 运行 , 我 得到 了 应用 程序 的 AM 容器 和 异常 从 容器 启动 。
有 什么 办法 吗 ?
所有 节点 均 正常 工作 。
6544 Jps 3041 名称 节点 3842 节点 管理 器 3219 数据 节点 3494 辅助 名称 节点 3706 资源 管理 器
下面 是 我 的 应用 程序 的 Yarn 状态 输出 。
doop@contactkarim-VirtualBox:~/hadoop-3.3.1$ yarn app -status application_1667981786519_0006
2022-11-09 11:35:22,184 INFO client.DefaultNoHARMFailoverProxyProvider: Connecting to ResourceManager at /127.0.0.1:8032
2022-11-09 11:35:22,522 INFO conf.Configuration: resource-types.xml not found
2022-11-09 11:35:22,522 INFO resource.ResourceUtils: Unable to find 'resource-types.xml'.
Application Report :
Application-Id : application_1667981786519_0006
Application-Name : word count
Application-Type : MAPREDUCE
User : hdoop
Queue : default
Application Priority : 0
Start-Time : 1667982679380
Finish-Time : 1667982691120
Progress : 0%
State : FAILED
Final-State : FAILED
Tracking-URL : http://contactkm-VirtualBox:8088/cluster/app/application_1667981786519_0006
RPC Port : -1
AM Host : N/A
Aggregate Resource Allocation : 20250 MB-seconds, 8 vcore-seconds
Aggregate Resource Preempted : 0 MB-seconds, 0 vcore-seconds
Log Aggregation Status : DISABLED
Diagnostics : Application application_1667981786519_0006 failed 2 times due to AM Container for appattempt_1667981786519_0006_000002 exited with exitCode: 1
Failing this attempt.Diagnostics: [2022-11-09 11:31:31.113]Exception from container-launch.
Container id: container_1667981786519_0006_02_000001
Exit code: 1
[2022-11-09 11:31:31.116]Container exited with a non-zero exit code 1. Error file: prelaunch.err.
Last 4096 bytes of prelaunch.err :
Last 4096 bytes of stderr :
log4j:WARN No appenders could be found for logger (org.apache.hadoop.mapreduce.v2.app.MRAppMaster).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
[2022-11-09 11:31:31.116]Container exited with a non-zero exit code 1. Error file: prelaunch.err.
Last 4096 bytes of prelaunch.err :
Last 4096 bytes of stderr :
log4j:WARN No appenders could be found for logger (org.apache.hadoop.mapreduce.v2.app.MRAppMaster).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
For more detailed output, check the application tracking page: http://contactkarim-VirtualBox:8088/cluster/app/application_1667981786519_0006 Then click on links to logs of each attempt.
. Failing the application.
Unmanaged Application : false
Application Node Label Expression : <Not set>
AM container Node Label Expression : <DEFAULT_PARTITION>
TimeoutType : LIFETIME ExpiryTime : UNLIMITED RemainingTime : -1seconds
中 的 每 一 个
谢谢
我 解决 了 很多 问题 。 我 检查 了 网站 设置 , 检查 了 资源 。 而且 , 我 多次 检查 了 配置 。 权限 等 都 给 出 了 。
我 只 怀疑 这里 的 java 版本 。
1条答案
按热度按时间5t7ly7z51#
链接的博客没有提到mapreduce,只有集群设置(我总是建议以下官方Apache Hadoop网站,而不是第三方博客)。
No appenders could be found
表示您缺少与工作一起提交的log4j.properties
档案-请参阅http://logging.apache.org/log4j/1.2/faq.html#noconfig以取得更多信息。您将无法看到真实的的运行时错误/日志输出,除非您添加了它,例如,如果您已经将自己的maven/gradle构建的jar提交到
src/main/resources