是否可以将flume头写入hdfs sink并放下主体?

wswtfjt7  于 2021-06-04  发布在  Flume
关注(0)|答案(1)|浏览(395)

文本带标题序列化程序(hdfs sink serializer)允许保存flume事件标题,而不是丢弃它们。输出格式由标题、空格和正文有效载荷组成。我们想放下尸体,只保留头球。对于hbase接收器,“regexhbaseeventserializer”允许我们转换事件。但我找不到hdfsFlume的这样一个装置。

sbdsn5lh

sbdsn5lh1#

您可以将serializer属性设置为header和text,这将同时输出header和body。
例如:

  1. agent.sinks.my-hdfs-sink.type = hdfs
  2. agent.sinks.my-hdfs-sink.hdfs.fileType = DataStream
  3. ...
  4. # very important
  5. agent.sinks.my-hdfs-sink.serializer = header_and_text

相关问题