我曾尝试捕获apacheflume元数据信息，但我不知道它在哪里记录这些信息。请让我知道，如果我需要做任何预配置，以捕获flume元数据信息。提前谢谢。
t1qtbnec1#
flume组件在标准flume日志（/var/log/flume ng）中记录一些这样的元信息。例如，hdfs sink记录文件滚动时的路径：
19 апр 2013 13:00:07,063 INFO [hdfs-hdfs_sink-roll-timer-0] (org.apache.flume.sink.hdfs.BucketWriter.renameBucket:379) - Renaming hdfs://localhost/path/to/data/2013/04/19/12/data.1366358400751.tmp to hdfs://localhost/path/to/data/2013/04/19/12/data.1366358400751
avro源记录每个接收到的事件批：
19 апр 2013 13:00:07,175 DEBUG [New I/O server worker #1-31] (org.apache.flume.source.AvroSource.appendBatch:222) - Avro source avro_source: Received avro event batch of 100 events.
此外，flume中还有监视功能，允许向外部系统（如ganglia）报告一些度量，如已处理消息的总数、通道大小等http://flume.apache.org/flumeuserguide.html#monitoring.
1条答案
按热度按时间t1qtbnec1#
flume组件在标准flume日志（/var/log/flume ng）中记录一些这样的元信息。
例如，hdfs sink记录文件滚动时的路径：
avro源记录每个接收到的事件批：
此外，flume中还有监视功能，允许向外部系统（如ganglia）报告一些度量，如已处理消息的总数、通道大小等http://flume.apache.org/flumeuserguide.html#monitoring.