spark.cassandra.output.throughput每秒\u mb\u不工作

qxgroojn  于 2021-06-10  发布在  Cassandra
关注(0)|答案(0)|浏览(238)

使用spark-cassandra-connector_2.11:2.4.0,以下是设置

spark.cassandra.output.concurrent.writes=1,
spark.cassandra.output.throughput_mb_per_sec=0.001, (I also tried 0.01, 0.0001, 0.00001)
spark.cassandra.output.batch.size.bytes=512

我的理解是每个任务的输出应该限制在0.001MB/s,大约1kb/s。但是,平均任务在20秒内输出820kb,这意味着41kb/s。
这是否意味着配置不起作用?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题