数据集的sortpartition方法基于某些指定字段对数据集进行本地排序。如何在flink中高效地对大型数据集进行全局排序?
eivgtgni1#
这在目前是不容易做到的,因为flink还没有提供内置的范围分区策略。解决方法是实现自定义 Partitioner :
Partitioner
DataSet<Tuple2<Long, Long>> data = ... data .partitionCustom(new Partitioner<Long>() { int partition(Long key, int numPartitions) { // your implementation } }, 0) .sortPartition(0, Order.ASCENDING) .writeAsText("/my/output");
注意:为了使用自定义分区器实现平衡分区,您需要了解键的值范围和分布。apache flink中对范围分割器(带有自动采样)的支持目前正在进行中,应该很快就会提供。edit(2016年6月7日):范围分区被添加到1.0.0版本的apache flink中。可以按如下方式对数据集进行全局排序:
DataSet<Tuple2<Long, Long>> data = ... data .partitionByRange(0) .sortPartition(0, Order.ASCENDING) .writeAsText("/my/output");
注意,范围分区对输入数据集进行采样,以计算大小相等的分区的数据分布。
1条答案
按热度按时间eivgtgni1#
这在目前是不容易做到的,因为flink还没有提供内置的范围分区策略。
解决方法是实现自定义
Partitioner
:注意:为了使用自定义分区器实现平衡分区,您需要了解键的值范围和分布。
apache flink中对范围分割器(带有自动采样)的支持目前正在进行中,应该很快就会提供。
edit(2016年6月7日):范围分区被添加到1.0.0版本的apache flink中。可以按如下方式对数据集进行全局排序:
注意,范围分区对输入数据集进行采样,以计算大小相等的分区的数据分布。