我有一个flume ng,它可以将日志写入hdfs。
我在一个节点上做了一个代理。
但它没有运行。
这是我的配置。
example2.conf:单节点Flume配置
命名此代理上的组件
agent1.sources=源1
agent1.sinks=下沉1
agent1.channels=通道1
描述/配置源1
agent1.sources.source1.type=avro
agent1.sources.source1.bind=本地主机
agent1.sources.source1.port=41414
使用在内存中缓冲事件的通道
agent1.channels.channel1.type=内存
agent1.channels.channel1.capacity=10000
agent1.channels.channel1.transactioncapacity=100
描述下沉1
agent1.sinks.sink1.type=hdfs
agent1.sinks.sink1.hdfs.path=hdfs://dbkorando.kaist.ac.kr:9000/Flume
绑定源和下沉通道
agent1.sources.source1.channels=频道1
agent1.sinks.sink1.channel=通道1
我命令你 flume-ng agent -n agent1 -c conf -C /home/hyahn/hadoop-0.20.2/hadoop-0.20.2-core.jar -f conf/example2.conf -Dflume.root.logger=INFO,console
结果是
信息:包括通过(/home/hyahn/hadoop-0.20.2/bin/hadoop)访问hdfs的hadoop库
+exec/usr/java/jdk1.7.0_02/bin/java-xmx20m-dflume.root.logger=info,console-cp'/etc/flume ng/conf:/usr/lib/flume ng/lib/*:/home/hyahn/hadoop-0.20.2/hadoop-0.20.2-core.jar'-djava.library.path=:/home/hyahn/hadoop-0.20.2/bin/./lib/native/linux-amd64 org.apache.flume.node.application-n agent1-f conf/example2.conf
2012-11-27 15:33:17250(main)[信息-org.apache.flume.lifecycle.lifecyclesupervisor.start(lifecyclesupervisor。java:67)]启动lifecycle supervisor 1
2012-11-27 15:33:17253(main)[信息-org.apache.flume.node.flumenode.start(flumenode。java:54)]Flume节点启动-agent1
2012-11-27 15:33:17257(lifecyclesupervisor-1-1)[info-org.apache.flume.conf.file.abstractfileconfigurationprovider.start(abstractfileconfigurationprovider)。java:67)]配置提供程序正在启动
2012-11-27 15:33:17257(lifecyclesupervisor-1-0)[info-org.apache.flume.node.nodemanager.defaultlogicalnodemanager.start(defaultlogicalnodemanager)。java:203)]节点管理器启动
2012-11-27 15:33:17258(lifecyclesupervisor-1-0)[信息-org.apache.flume.lifecycle.lifecyclesupervisor.start(lifecyclesupervisor。java:67)]启动lifecycle supervisor 9
2012-11-27 15:33:17258(conf-file-poller-0)[info-org.apache.flume.conf.file.abstractfileconfigurationprovider$filewatcherrunnable.run(abstractfileconfigurationprovider)。java:195)]重新加载配置file:conf/example2.conf
2012-11-27 15:33:17266(conf-file-poller-0)[info-org.apache.flume.conf.flumeconfiguration$agentconfiguration.addproperty(flumeconfiguration。java:988)]第rocessing:sink1
2012-11-27 15:33:17266(conf-file-poller-0)[info-org.apache.flume.conf.flumeconfiguration$agentconfiguration.addproperty(flumeconfiguration。java:988)]第rocessing:sink1
2012-11-27 15:33:17267(conf-file-poller-0)[info-org.apache.flume.conf.flumeconfiguration$agentconfiguration.addproperty(flumeconfiguration。java:988)]第rocessing:sink1
2012-11-27 15:33:17268(conf-file-poller-0)[info-org.apache.flume.conf.flumeconfiguration$agentconfiguration.addproperty(flumeconfiguration。java:902)]添加的接收器:sink1代理:agent1
2012-11-27 15:33:17290(conf-file-poller-0)[info-org.apache.flume.conf.flumeconfiguration.validateconfiguration(flumeconfiguration)。java:122)]验证后flume配置包含代理的配置:[agent1]
2012-11-27 15:33:17290(conf-file-poller-0)[info-org.apache.flume.conf.properties.propertiesfileconfigurationprovider.loadchannels(propertiesfileconfigurationprovider。java:249)]创建频道
2012-11-27 15:33:17354(conf-file-poller-0)[info-org.apache.flume.instrumentation.monitoredcountergroup.(监视计数器组)。java:68)]已成功注册类型为channel、名称为channel1的监视计数器组。
2012-11-27 15:33:17355(conf-file-poller-0)[info-org.apache.flume.conf.properties.propertiesfileconfigurationprovider.loadchannels(propertiesfileconfigurationprovider。java:273)]已创建通道1
2012-11-27 15:33:17368(conf-file-poller-0)[info-org.apache.flume.instrumentation.monitoredcountergroup.(监视计数器组)。java:68)]已成功注册类型为source、名称为source1的监视计数器组。
2012-11-27 15:33:17378(conf-file-poller-0)[info-org.apache.flume.sink.defaultsinkfactory.create(defaultsinkfactory)。java:70)]正在创建sink:sink1的示例,类型:hdfs
如上所述,Flume在Flume产生部分停止的问题已经发生。有什么问题?
1条答案
按热度按时间rjzwgtxy1#
您需要打开另一个窗口并在端口发送avro命令
41414
作为:这里有一个文件名为
aaa.txt
在/home/hadoop1/
目录您的flume将读取此文件并发送到hdfs。