消除流重复的正确方法包括按密钥对流进行分区，以便包含相同密钥的所有元素将由同一个worker处理，并使用flink的托管键控状态机制，以便状态具有容错性和可重新扩展性。下面是一个示例实现：

public static void main(String[] args) throws Exception {
  StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

  env.addSource(new EventSource())
    .keyBy(e -> e.key)
    .flatMap(new Deduplicate())
    .print();

  env.execute();
}

public static class Deduplicate extends RichFlatMapFunction<Event, Event> {
  ValueState<Boolean> seen;

  @Override
  public void open(Configuration conf) {
    ValueStateDescriptor<Boolean> desc = new ValueStateDescriptor<>("seen", Types.BOOLEAN);
    seen = getRuntimeContext().getState(desc);
  }

  @Override
  public void flatMap(Event event, Collector<Event> out) throws Exception {
    if (seen.value() == null) {
      out.collect(event);
      seen.update(true);
    }
  }
}

顺便说一句，这也可以实现为richfilterfunction。但是请注意，如果您有一个无界的密钥空间，所使用的状态将无限增长，直到堆或磁盘上的空间用完为止，这取决于您选择的flink的状态后端。如果这是一个问题，您可能需要通过状态生存时间设置状态保留策略。
还要注意，在flink管道的不同部分之间共享状态是不可能的。与正常情况相比，您需要将事情从内到外进行处理，并使事件流进入状态，而不是获取它。