使用apachespark，我创建了一些关于法国城市的会计数据。
这个 Dataset 具有以下主要字段：

city_code, establishment_id, account_number, amount, city name,  department  
29045    , 2904521051      , 6105          , 23.51 , Dirinon  ,  29
29046    , 2907425498      , 4031          , 17.20 , Douarnenez, 29

它是按 orderBy("city_code", "establishment_id", "account_number") 然后被一个 repartition(col("department")) 他们在法国有100多个部门： 01 至 95 ，以及一些特殊情况，如 2A , 2B ，和 971 , 972 , 973 , 974 , 976 . 部门是由三个字符组成的字符串。
保存在 Parquet 文件夹。
我看了一下Parquet文件夹，发现里面有200个街区。
我有点惊讶：我不是应该找到大约100个吗？每个部门一个？
然后，我尝试一个查询。我要这个城市的会计数据 29046 . 它是函数中唯一一个返回其所有机构的相关帐户的参数。
我收到他们很好，但我的日志告诉我，我的Parquet文件的所有块都是红色的这样做。我原以为只需要一个：包含分区的那个 29 .
我开始怀疑自己：但我为什么要相信这一点？apachespark怎么知道任何一个城市的代码的形状 29 必须在有代码的分区中搜索 29 ?
我不太懂分区，这里。我把一边的键和另一边的分区键搞混了：它们的链接不是那么紧密，我相信。
我在这里写了多少错误，我应该怎么做才能达到我想要的结果？
我已经尝试了麦克在回答中提出的改变。
从 comptes 首先，我用一个Parquet文件执行了这些操作，没有 substr(city_code, 1, 2) 对于分区：

comptes = comptes.orderBy("codeCommune", "siret", "numeroCompte");
comptes = comptes.withColumn("partitionCommune", substring(col("codeCommune"), 1, 2));
comptes = comptes.repartition(col("partitionCommune"));
comptes.write().parquet("myStore");

然后是对 codeCommune 29046

Dataset<Row> comptes = session.read().parquet("myStore");
comptes.where(col("codeCommune").equalTo("29046")).show();

数据集的生成和磁盘写入（200块）需要697秒。
城市代码的查询尝试 29046 读取所有的200个块并取9。
然后，我将编写parquet文件的行与这个行交换，并重新运行parquet文件的生成和查询。现在它正在创建一个带有分区的Parquet文件：

comptes.write().partitionBy("partitionCommune").parquet("myStore");

数据集的生成及其在磁盘上的写入（近500个块）需要875秒。
查询 city_code 29046读取所有500个块，也需要大约9秒。
（编辑：我有一个bug orderBy 在写入Parquet文件之前，transform不是最后一个，我的数据没有被排序，导致文件结尾有20000个块，因为试图将未排序的数据作为分区写入！）
所以，它起作用了。