我有下面的flink-keyedprocessfunction。我基本上是在尝试实现状态设计模式。
public AlertProcessor extends KeyedProcessFunction<Tuple2<String, String>, Event1, Event2> {
private transient AlertState currentState;
private transient AlertState activeAlertState;
private transient AlertState noActiveAlertState;
private transient AlertState resolvedAlertState;
@Override
public void open(Configuration parameters) {
activeAlertState = new ActiveAlertState();
noActiveAlertState = new NoActiveAlertState();
resolvedAlertState = new ResolvedAlertState();
}
@Override
public processElement(Event1 event1, Context ctx, Collector<Event2> out) throws Exception {
// Would the below if condition work for multiple keys?
if (currentAlertState == null) {
currentAlertState = noActiveAlertState;
}
currentAlertState.handle(event1, out);
}
private interface AlertState {
void handle(Event1 event1, Collector<Event2> out);
}
private class ActiveAlertState implements AlertState {
void handle(Event1 event1, Collector<Event2> out) {
logger.debug("Moving to no alertState");
// Do something and push some Event2 to out
currentAlertState = resolvedActiveAlertState;
}
}
private class NoActiveAlertState implements AlertState {
void handle(Event1 event1, Collector<Event2> out) {
logger.debug("Moving to no alertState");
// Do something and push some Event2 to out
currentAlertState = activeAlertState;
}
}
private class ResolvedAlertState implements AlertState {
void handle(Event1 event1, Collector<Event2> out) {
logger.debug("Moving to no alertState");
// Do something and push some Event2 to out
currentAlertState = noActiveAlertState;
}
}
}
我的问题是-
流中的每个键是否有一个alertprocessor示例(或对象)?换句话说,currentalertstate对象是否每个键都是唯一的?或者该alertprocessor操作符的每个示例将有一个currentalertstate?
如果currentalertstate是每个操作符示例的值,那么这个代码将不会真正起作用,因为currentalertstate将被不同的键覆盖。我的理解正确吗?
我可以将currentalertstate存储在keyed状态,并为每个processelement()调用初始化它。如果这样做,我就不需要在handle()实现中将currentalertstate分配或设置为下一个状态,因为currentalertstate将根据flink状态进行初始化。
有没有更好的方法在flink中实现状态设计模式并减少创建的状态对象的数量?
1条答案
按热度按时间fdbelqdn1#
单身汉
AlertProcessor
示例将在管道的每个并行示例(每个任务槽)中创建,并将在该槽处理的所有密钥上进行多路复用。如果currentalertstate是每个操作符示例的值,那么这个代码将不会真正起作用,因为currentalertstate将被不同的键覆盖。我的理解正确吗?
对的。您应该使用键控状态
currentAlertState
,这将在状态后端为每个不同的键生成一个条目。