mongodb可以用作apache flink处理流数据的数据源吗？apache flink的本机实现是什么，不使用sql数据库作为数据源？
ymdaylpp1#
目前，flink没有专用的连接器来读取mongodb。您可以执行以下操作：使用 StreamExecutionEnvironment.createInput 并使用flink的 Package 器输入格式为mongodb提供hadoop输入格式通过实现 SourceFunction / ParallelSourceFunction 前者应该给您至少一次处理保证，因为mongodb集合在恢复时会被完全重新读取。根据mongodb客户机的功能，您可能能够使用后一种方法实现一次处理保证。
StreamExecutionEnvironment.createInput
SourceFunction
ParallelSourceFunction
1条答案
按热度按时间ymdaylpp1#
目前，flink没有专用的连接器来读取mongodb。您可以执行以下操作：
使用
StreamExecutionEnvironment.createInput并使用flink的 Package 器输入格式为mongodb提供hadoop输入格式通过实现
SourceFunction/ParallelSourceFunction前者应该给您至少一次处理保证，因为mongodb集合在恢复时会被完全重新读取。根据mongodb客户机的功能，您可能能够使用后一种方法实现一次处理保证。