在我的Flume流中，我希望有一个自定义的动态hdfs路径，但是没有数据被填充到拦截器中。
**示例数据：**188 17 2016-06-01 00：31：10 6200. 041736 0
设定
agent2.sources.source2.interceptors = i2 i3 i4
agent2.sources.source2.interceptors.i2.type = regex_extractor
agent2.sources.source2.interceptors.i3.type = regex_extractor
agent2.sources.source2.interceptors.i4.type = regex_extractor
# regex to pick up the year
agent2.sources.source2.interceptors.i2.regex = (?<=\t)[0-9]{4}(?=-)
agent2.sources.source2.interceptors.i2.serializers = y
agent2.sources.source2.interceptors.i2.serializers.y.name = year
# regex to pick up the month
agent2.sources.source2.interceptors.i3.regex = (?<=-)[0-9]{2}(?=-)
agent2.sources.source2.interceptors.i3.serializers = m
agent2.sources.source2.interceptors.i3.serializers.m.name = month
# regex to pick up the day
agent2.sources.source2.interceptors.i4.regex = (?<=-)[0-9]{2}(?=\t)
agent2.sources.source2.interceptors.i4.serializers = d
agent2.sources.source2.interceptors.i4.serializers.d.name = day
# Define the HDFS sink 2 –year and month
agent2.sinks.sink-hdfs2.type = hdfs
agent2.sinks.sink-hdfs2.hdfs.path = /group-project/consumption/%{year}/%{month}
agent2.sinks.sink-hdfs2.hdfs.filePrefix = %{year}-%{month}
agent2.sinks.sink-hdfs2.hdfs.fileSuffix = .txt
1条答案
按热度按时间dxpyg8gm1#
年份和日期的look-aheads和look-behinds只匹配制表符。它们不会匹配多个空格。最好使用
\\s。此外，Flume需要两个反斜杠用于正则表达式符号，
\\t而不是\t。或者，您可以使用一个正则表达式来获取整个日期，并使用多个捕获组将它们分配给不同的序列化程序。
《Flume用户指南》中有一个很好的示例：
如果Flume事件主体包含
1:2:3.4foobar5并且使用了以下配置提取的事件将包含相同的正文，但将添加以下标题
one=>1, two=>2, three=>3