flume:bechmarking http源代码和文件通道

4nkexdtk  于 2021-06-04  发布在  Flume
关注(0)|答案(0)|浏览(312)

我们一直在尝试验证和基准的Flume性能,为我们的生产使用。
我们已经将flume配置为具有http源、文件通道和kafka接收器。硬件:8核,32 gb ram,centos6.5,磁盘-500 gb hdd。Flume配置:

svcagent.sources = http-source                                                                        
svcagent.sinks = kafka-sink1                                                                          
svcagent.channels = file-channel1

# HTTP source to read receive events on port 5005

svcagent.sources.http-source.type = http                                                              
svcagent.sources.http-source.channels = file-channel1                                                                                                                                                                                                                                                             
svcagent.sources.http-source.port = 5005                                                              
svcagent.sources.http-source.bind = 10.15.1.31                                                        

svcagent.sources.http-source.selector.type = multiplexing                                             
svcagent.sources.http-source.selector.header = archival                                               
svcagent.sources.http-source.selector.mapping.true = file-channel1                                    
svcagent.sources.http-source.selector.default = file-channel1                                         

# svcagent.sources.http-source.handler =org.eiq.flume.JSONHandler.HTTPSourceJSONHandler

svcagent.sinks.kafka-sink1.topic = flume-sink1                                                       
svcagent.sinks.kafka-sink1.brokerList = 10.15.1.32:9092                                              
svcagent.sinks.kafka-sink1.channel = file-channel1                                                   
svcagent.sinks.kafka-sink1.batchSize = 5000                                                                                                                                                                 

svcagent.channels.file-channel1.type = file                                                           
svcagent.channels.file-channel1.checkpointDir=/etc/flume-kafka/checkpoint                             
svcagent.channels.file-channel1.dataDirs=/etc/flume-kafka/data                                        
svcagent.channels.file-channel1.transactionCapacity=10000                                             
svcagent.channels.file-channel1.capacity=50000                                                        
svcagent.channels.file-channel1.checkpointInterval=120000                                             
svcagent.channels.file-channel1.checkpointOnClose=true                                                
svcagent.channels.file-channel1.maxFileSize=536870912                                                 
svcagent.channels.file-channel1.use-fast-replay=false

当我们尝试从多个客户机(大约40个http客户机)流式传输http数据时,我们可以得到每秒600个请求的最大处理量,而不是超过这个速度。将flume的xmx设置增加到4096。
甚至我们也尝试过空接收器(而不是Kafka接收器)。没有得到太多的性能改进。因此,假设阻塞是http源&文件通道。
你能建议一些微调来提高这个设置的性能吗。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题