如何在flume ng中删除损坏事件?

pkln4tw6  于 2021-06-03  发布在  Flume
关注(0)|答案(1)|浏览(293)

我使用flume文件通道与avro源-汇拓扑传输日志。除了日志之外,flume还导致了大量损坏的日志。我怎么能放下这样的木头。
一些日志的合并基本上导致了损坏。假设我有10个来自机器a的日志和10个来自机器b的日志。现在的情况是,flume给我21个日志(机器a和b各10个)和1个日志(机器a和b的日志的组合)。然而,这种情况并不常见。我在10000个日志中得到了大约1个损坏的日志,但是由于规模的原因,这也是一个问题。

hsvhsicv

hsvhsicv1#

您可以使用拦截器来丢弃您选择的事件。也许你可以反省一下事件的主体,检查是否有腐败现象,并将其丢弃。

相关问题