在spark中使用 repartition() ，或更优选 coalesce() 如果您正在减少分区的数量，那么有一种简单的方法可以限制索引到分区的速率。
如果要在pyspark中设置属性

esconf={}
esconf["es.mapping.id"] = "_id"
esconf["es.nodes"] = "localhost"
esconf["es.port"] = "9200"
esconf["es.batch.size.bytes"] = "1000000" //default 1mb for bulk request
esconf["es.batch.size.entries"] = "1000" //default 1000 for bulk request

df.write.format("org.elasticsearch.spark.sql").options(**esconf).mode("append").save("index_name")

注意：注意批量大小和条目是按任务示例分配的。总是乘以hadoop作业中的任务数，以获得运行时使用elasticsearch时的总批量大小/条目数。这就是为什么你得到5k写/秒