我正在使用flume从kafka topic hdfs文件夹加载消息。所以，我创建了一个主题我和Kafka游戏机制作人给tt发了信息我配置了绒毛剂ff运行flume代理flume ng agent-n ff-c conf-f flume.conf-dflume.root.logger=info，控制台代码执行停止，没有错误，并且不会向hdfs写入任何内容。日志文件包含以下警告：主题的使用者线程flume\u0未使用任何代理分区。非常感谢您的帮助。提前感谢。：）
hs1rzwqc1#
这就解决了这个问题ff.sources=Kafka源ff.channels=Kafka频道ff.sinks=hdfs sink ff.channels.kafka-channel.type org.apache.flume.channel.kafka.kafkachannelff.channels.kafka-channel.kafka.bootstrap.servers=宽带-latitude:9092ff.channels.kafka-channel.kafka.topic=tt频道ff.channels.kafka-channel.parseasflumeevent=假ff.sinks.hdfs-sink.hdfs.writeformat=文本ff.sinks.hdfs-sink.channel=Kafka频道ff.sinks.hdfs-sink.type=hdfsff.sinks.hdfs-sink.hdfs.path=hdfs://***:8020/spark/
1条答案
按热度按时间hs1rzwqc1#
这就解决了这个问题
ff.sources=Kafka源
ff.channels=Kafka频道
ff.sinks=hdfs sink ff.channels.kafka-channel.type org.apache.flume.channel.kafka.kafkachannel
ff.channels.kafka-channel.kafka.bootstrap.servers=宽带-latitude:9092
ff.channels.kafka-channel.kafka.topic=tt频道
ff.channels.kafka-channel.parseasflumeevent=假
ff.sinks.hdfs-sink.hdfs.writeformat=文本
ff.sinks.hdfs-sink.channel=Kafka频道
ff.sinks.hdfs-sink.type=hdfs
ff.sinks.hdfs-sink.hdfs.path=hdfs://***:8020/spark/