基于kafka->flume->hdfs摄取的消息数据写入自定义hdfs目录

tcbh2hod  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(388)

如何使用flume根据kafka消息中的消息类型写入自定义hdfs目录?
说出Kafka的信息: {"type": "A", "data": "blah"} 在类型字段中有“a”应该写入 /data/A ,消息: {"type": "B", "data": "blah"} 在类型字段中有“b”应写入 /data/B 等等

hfyxw5xn

hfyxw5xn1#

我想你需要定制FlumeFlume。apacheFlume定制Flume

相关问题