数据集api-端输出

8wigbo56  于 2021-06-24  发布在  Flink
关注(0)|答案(1)|浏览(360)

flink是否支持数据集中的边输出特性(批处理api)?如果没有,从文件加载时如何处理有效记录和无效记录?

xdyibdwo

xdyibdwo1#

你可以这样做:

DataSet<EventOrInvalidRecord> goodAndBadTogether = input.map(new CreateObjectIfPossible())
goodAndBadTogether.filter(new KeepOnlyGood())...
goodAndBadTogether.filter(new KeepOnlyBad())...

在某些情况下,另一个合理的选择是继续使用datastreamapi,即使您没有流源。

相关问题