flink中的全局排序

gab6jxml  于 2021-06-24  发布在  Flink
关注(0)|答案(1)|浏览(644)

数据集的sortpartition方法基于某些指定字段对数据集进行本地排序。如何在flink中高效地对大型数据集进行全局排序?

eivgtgni

eivgtgni1#

这在目前是不容易做到的,因为flink还没有提供内置的范围分区策略。
解决方法是实现自定义 Partitioner :

DataSet<Tuple2<Long, Long>> data = ...
data
  .partitionCustom(new Partitioner<Long>() {
    int partition(Long key, int numPartitions) {
      // your implementation
    }
  }, 0)
  .sortPartition(0, Order.ASCENDING)
  .writeAsText("/my/output");

注意:为了使用自定义分区器实现平衡分区,您需要了解键的值范围和分布。
apache flink中对范围分割器(带有自动采样)的支持目前正在进行中,应该很快就会提供。
edit(2016年6月7日):范围分区被添加到1.0.0版本的apache flink中。可以按如下方式对数据集进行全局排序:

DataSet<Tuple2<Long, Long>> data = ...
data
  .partitionByRange(0)
  .sortPartition(0, Order.ASCENDING)
  .writeAsText("/my/output");

注意,范围分区对输入数据集进行采样,以计算大小相等的分区的数据分布。

相关问题