我是Kafka的新手,用的是 kafka_2.8.0-0.8.1.1
.
在建立了kafka代理并由生产者和消费者进行了测试之后,我决定对kafka进行一些性能测试。
我通过搜索找到了Kafka的基准 kafka performance test
通过执行来尝试
./bin/kafka-run-class.sh org.apache.kafka.clients.tools.ProducerPerformance test7 50000000 100 -1 acks=1 bootstrap.servers=esv4-hcl198.grid.linkedin.com:9092 buffer.memory=67108864 batch.size=8196
但是我得到了
Error: Could not find or load main class org.apache.kafka.clients.tools.ProducerPerformance
然后我发现另一个测试Kafka的方法是命令
./bin/kafka-producer-perf-test.sh --broker-list 192.168.2.11:19092,192.168.2.11:19093,192.168.2.11:19094 --messages 100 --topic j1-soa --threads 1 --message-size 100 --batch-size 100 --compression-codec 1
另一个错误是
Error: Could not find or load main class kafka.perf.ProducerPerformance
我搜索了错误。他们告诉它应该执行一些命令,比如
./sbt update
./sbt package
./sbt assembly-package-dependency
或
./gradlew jar
执行前 ./bin/kafka-producer-perf-test.sh
.
我意识到上面的命令只适用于源代码版本,而不是二进制版本。
然后我下载 kafka-0.8.1.1-src.tgz
并尝试执行上述命令。
我不知道是什么 sbt
以及 gradlew
.
我只是试着执行上面的命令。
我跑的时候出错了 sbt assembly-package-dependency
```
[info] Set current project to kafka (in build file:/Users/foxzen/Develop/kafka/)
[error] Not a valid command: assembly-package-dependency
[error] Not a valid project ID: assembly-package-dependency
[error] Expected ':' (if selecting a configuration)
[error] Not a valid key: assembly-package-dependency (similar: sbt-dependency)
[error] assembly-package-dependency
[error] ^
也有错误 `./gradlew jar` ```
FAILURE: Build failed with an exception.
* What went wrong:
A problem occurred configuring root project 'kafka-0.8.1.1-src'.
> Could not resolve all dependencies for configuration ':classpath'.
> Could not resolve nl.javadude.gradle.plugins:license-gradle-plugin:0.6.1.
Required by:
org.apache.kafka:kafka-0.8.1.1-src:0.8.1.1
> Could not GET 'http://repo1.maven.org/maven2/nl/javadude/gradle/plugins/license-gradle-plugin/0.6.1/license-gradle-plugin-0.6.1.pom'.
> Connection to http://127.0.0.1:8888 refused
> Could not GET 'http://dl.bintray.com/content/netflixoss/external-gradle-plugins/nl/javadude/gradle/plugins/license-gradle-plugin/0.6.1/license-gradle-plugin-0.6.1.pom'.
> Connection to http://127.0.0.1:8888 refused
* Try:
Run with --stacktrace option to get the stack trace. Run with --info or --debug option to get more log output.
BUILD FAILED
Total time: 2.924 secs
我真的不知道错误消息是什么意思,也找不到解决方法。
如何发出命令 ./bin/kafka-producer-perf-test.sh
好好工作,这样我就可以测试Kafka的表演了?
编辑
这是我的错 ./gradlew jar
失败。
internet连接的代理设置为 127.0.0.1:8888
,
我不记得我什么时候做的。。。
删除internet连接的代理设置后。这个 ./gradlew jar
命令工作正常。
但我又犯了一个错误,再一次。。。。。。。。
start.time, end.time, compression, message.size, batch.size, total.data.sent.in.MB, MB.sec, total.data.sent.in.nMsg, nMsg.sec
[2015-02-04 10:37:22,936] WARN Property reconnect.interval is not valid (kafka.utils.VerifiableProperties)
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
2015-02-04 10:37:22:821, 2015-02-04 10:37:23:451, 1, 100, 100, 0.01, 0.0151, 100, 158.7302
起因 ./bin/kafka-producer-perf-test.sh --broker-list 192.168.2.11:19092,192.168.2.11:19093,192.168.2.11:19094 --messages 100 --topic j1-soa --threads 1 --message-size 100 --batch-size 100 --compression-codec 1
这是否意味着性能测试成功?
但我没有得到一个有意义的输出。
我认为错误信息应该是 Failed to load class "org.slf4j.impl.StaticLoggerBinder".
如何解决?
2条答案
按热度按时间njthzxwz1#
的包名称
ProducerPerformance
已从更改为org.apache.kafka.clients.tools
至org.apache.kafka.tools
.所以,你应该跑:
./bin/kafka-run-class.sh org.apache.kafka.tools.ProducerPerformance test7 50000000 100 -1 acks=1 bootstrap.servers=esv4-hcl198.grid.linkedin.com:9092 buffer.memory=67108864 batch.size=8196
这项承诺已经改变了。y0u0uwnf2#
在Kafka2.11-0.10.1.1中,我只使用了:
./bin/kafka-run-class.sh org.apache.kafka.tools.ProducerPerformance --throughput=1000 --topic=MY_TOPIC --num-records=50000000 --record-size=200 --producer-props bootstrap.servers=YOUR_KAFKA_IP:9092 buffer.memory=67108864 batch.size=64000
注意还有一个不同的类名为kafka.tools.ProducerPerformance
. 但是上面的那个看起来更好