我看到大约25%的数据丢失使用flume源syslogudp。
这是我的配置
a1.来源=r1
a1.1=k1
a1.通道=c1
来源
a1.sources.r1.type=syslogudp
a1.sources.r1.bind=172.24.1.78
a1.sources.r1.port=65535
Flume
a1.sinks.k1.type=文件卷
a1.sinks.k1.sink.directory=/var/log/tmp
a1.sinks.k1.sink.rollinterval=0
a1.sinks.k1.sink.batchsize=20000
渠道
a1.channels.c1.type=内存
a1.channels.c1.capacity=20000
a1.channels.c1.transactioncapacity=20000
绑定
a1.sources.r1.channels=c1
a1.k1.channel=c1
我修改了rhel内核参数来解决这个问题,但是没有影响。
sysctl-w net.core.rmem\u max=33554432
sysctl-w net.ipv4.udp\u mem='262144 327680 393216'
sysctl-w net.core.netdev\u max\u backlog=2000
有什么建议吗?
1条答案
按热度按时间holgip5t1#
也许问题出在udp本身?维基百科说:
它(udp)没有握手对话,因此向用户程序暴露了底层网络协议的任何不可靠性。由于这通常是不可靠媒体上的ip,因此无法保证交付、订购或复制保护。