apache flink—在python中为单个操作设置并行度

mccptt67 于 2021-06-24 发布在 Flink

关注(0)|答案(2)|浏览(503)

我用dop>1执行我的程序，但我不想要多个输出文件。在java中 myDataSet.writeAsText(outputFilePath, WriteMode.OVERWRITE).setParallelism(1); 工作正常。
但是当我在python中尝试同样的方法时，它不起作用。这是我的密码： myDataSet.write_text(output_file, write_mode=WriteMode.OVERWRITE).set_degree_of_parallelism(1) 有没有可能在python中实现这种行为？

python apache-flink

来源：https://stackoverflow.com/questions/34933833/set-degree-of-parallelism-for-a-single-operation-in-python

2条答案

按热度按时间

plicqrtu1#

对于不知道的用户，apacheflink在几个月前添加了这个特性。
这是Flink的简短文件：-
通过在executionenvironment上调用setparallelism（int parallelism）或将-p传递给flink命令行前端，可以覆盖整个作业的默认并行性。通过对运算符调用setparallelism（int parallelism），可以覆盖单个转换。

赞(0）回复(0）举报 2021-06-24

bxfogqkk2#

这不是一个bug，而是一个不受支持的特性。目前无法为单个操作符设置并行度，只能为整个作业设置并行度。
我为此开了一个圣坛：https://issues.apache.org/jira/browse/flink-3275

赞(0）回复(0）举报 2021-06-24