查找hadoop日志并将其设置为详细级别

5jdjgkvh  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(343)

当我运行作业或将文件上传到hdfs时,我需要跟踪正在发生的事情。我是用 sql profiler 在sql server中。然而,我错过了hadoop的这样一个工具,所以我假设我可以从hadoop获得一些信息 logs . 我想所有的日志都存储在/var/logs/hadoop/中,但我不知道需要查看哪个文件,以及如何设置该文件以捕获详细的级别信息。
我正在使用hdp2.2。
谢谢,斯瑞

jk9hmnmh

jk9hmnmh1#

“hadoop”代表了不同产品的整个生态系统。每个都有自己的日志记录。
hdfs由namenode和datanode服务组成。每个都有自己的日志。日志的位置取决于分布。请参阅hortonworks或apachehadoop日志文件的文件位置:在cdh中的何处找到它们,以及它们为cloudera包含哪些信息。
在hadoop2.2中,mapreduce('jobs')是yarn中的一个特定应用程序,因此您讨论的是resourcemanager和nodemanager服务(yarn组件),每个服务都有自己的日志,然后是mrapplication(m/r组件),这是一个yarn应用程序,但有自己的日志。
作业由tak组成,任务本身有自己的日志。
在hadoop2中,有一个专门的作业历史记录服务,负责收集和存储执行的作业的日志。
更高级别的组件(如hive、pig、kafka)有自己的日志,这些日志来自于它们提交的作业所产生的日志(与任何作业一样记录日志)。
好消息是,特定于供应商的发行版(cloudera、hortonworks等)将提供一些特定的ui来公开最常见的日志,以便于访问。通常,它们公开jobhistory服务从显示作业状态和作业历史的ui收集的日志。
我不能向您指出任何与sql profiler等效的东西,因为问题空间要复杂得多,涉及到许多不同的产品、版本和特定于供应商的发行版。我建议您从阅读并学习作业历史记录服务器如何运行以及如何访问它开始。

相关问题