我们一直在尝试验证和基准的Flume性能,为我们的生产使用。
我们已经将flume配置为具有http源、文件通道和kafka接收器。硬件:8核,32 gb ram,centos6.5,磁盘-500 gb hdd。Flume配置:
svcagent.sources = http-source
svcagent.sinks = kafka-sink1
svcagent.channels = file-channel1
# HTTP source to read receive events on port 5005
svcagent.sources.http-source.type = http
svcagent.sources.http-source.channels = file-channel1
svcagent.sources.http-source.port = 5005
svcagent.sources.http-source.bind = 10.15.1.31
svcagent.sources.http-source.selector.type = multiplexing
svcagent.sources.http-source.selector.header = archival
svcagent.sources.http-source.selector.mapping.true = file-channel1
svcagent.sources.http-source.selector.default = file-channel1
# svcagent.sources.http-source.handler =org.eiq.flume.JSONHandler.HTTPSourceJSONHandler
svcagent.sinks.kafka-sink1.topic = flume-sink1
svcagent.sinks.kafka-sink1.brokerList = 10.15.1.32:9092
svcagent.sinks.kafka-sink1.channel = file-channel1
svcagent.sinks.kafka-sink1.batchSize = 5000
svcagent.channels.file-channel1.type = file
svcagent.channels.file-channel1.checkpointDir=/etc/flume-kafka/checkpoint
svcagent.channels.file-channel1.dataDirs=/etc/flume-kafka/data
svcagent.channels.file-channel1.transactionCapacity=10000
svcagent.channels.file-channel1.capacity=50000
svcagent.channels.file-channel1.checkpointInterval=120000
svcagent.channels.file-channel1.checkpointOnClose=true
svcagent.channels.file-channel1.maxFileSize=536870912
svcagent.channels.file-channel1.use-fast-replay=false
当我们尝试从多个客户机(大约40个http客户机)流式传输http数据时,我们可以得到每秒600个请求的最大处理量,而不是超过这个速度。将flume的xmx设置增加到4096。
甚至我们也尝试过空接收器(而不是Kafka接收器)。没有得到太多的性能改进。因此,假设阻塞是http源&文件通道。
你能建议一些微调来提高这个设置的性能吗。
暂无答案!
目前还没有任何答案,快来回答吧!