使用spark-cassandra-connector_2.11:2.4.0,以下是设置
spark.cassandra.output.concurrent.writes=1,
spark.cassandra.output.throughput_mb_per_sec=0.001, (I also tried 0.01, 0.0001, 0.00001)
spark.cassandra.output.batch.size.bytes=512
我的理解是每个任务的输出应该限制在0.001MB/s,大约1kb/s。但是,平均任务在20秒内输出820kb,这意味着41kb/s。
这是否意味着配置不起作用?
暂无答案!
目前还没有任何答案,快来回答吧!