Pypark提供 spark_partition_id() 功能。
spark\u分区\u id（）
分区id的列。
注意：这是不确定的，因为它依赖于数据分区和任务调度。

>>> from pyspark.sql.functions import *
>>> spark.range(1,1000000)
      .withColumn("spark_partition",spark_partition_id())
      .groupby("spark_partition")
      .count().show(truncate=False)
+---------------+------+
|spark_partition|count |
+---------------+------+
|1              |500000|
|0              |499999|
+---------------+------+

分区的编号从零到 n-1 哪里 n 是你的电话号码吗 getNumPartitions() .
这就是你想要的吗？或者你真的是指Hive分割？

不如用下面的方法检查分区包含什么 mapPartitionsWithIndex 这段代码适用于一些小型数据集

def f(splitIndex, elements): 
  elements_text = ",".join(list(elements))
  yield splitIndex, elements_text

rdd.mapPartitionsWithIndex(f).take(10)