是否可以将flume头写入hdfs sink并放下主体?

wswtfjt7  于 2021-06-04  发布在  Flume
关注(0)|答案(1)|浏览(388)

文本带标题序列化程序(hdfs sink serializer)允许保存flume事件标题,而不是丢弃它们。输出格式由标题、空格和正文有效载荷组成。我们想放下尸体,只保留头球。对于hbase接收器,“regexhbaseeventserializer”允许我们转换事件。但我找不到hdfsFlume的这样一个装置。

sbdsn5lh

sbdsn5lh1#

您可以将serializer属性设置为header和text,这将同时输出header和body。
例如:

agent.sinks.my-hdfs-sink.type = hdfs
agent.sinks.my-hdfs-sink.hdfs.fileType = DataStream
... 

# very important

agent.sinks.my-hdfs-sink.serializer = header_and_text

相关问题