我打算使用apache flink将数据读/写到cassandra中。我希望使用flink连接器cassandra,我没有找到连接器的好文档/示例。
你能告诉我使用ApacheFlink从cassandra读写数据的正确方法吗。我只看到一个例子,纯粹是为了写?apache flink是否也适用于从cassandra读取数据,类似于apache spark?
我打算使用apache flink将数据读/写到cassandra中。我希望使用flink连接器cassandra,我没有找到连接器的好文档/示例。
你能告诉我使用ApacheFlink从cassandra读写数据的正确方法吗。我只看到一个例子,纯粹是为了写?apache flink是否也适用于从cassandra读取数据,类似于apache spark?
4条答案
按热度按时间1cosmwyk1#
xdyibdwo2#
我也有同样的问题,这就是我要找的。我不知道它是否对你的需要过于简化了,但我想我还是应该展示给你看。
我发现这一点的原因是找到了“cassandrainputformat”类的代码,并看到了它是如何工作的(http://www.javatips.net/api/flink-master/flink-connectors/flink-connector-cassandra/src/main/java/org/apache/flink/batch/connectors/cassandra/cassandrainputformat.java). 我真的希望它只是一种形式,而不是基于Cassandra名字的完整的阅读课程,我有一种感觉其他人可能也在想同样的事情。
qlzsbp2j3#
你可以用
RichFlatMapFunction
扩展类基本上
open
每个worker和flatmap
按记录执行。这个例子适用于mongo,但也可以类似地用于cassandras4chpxco4#
在你的情况下,据我所知,你管道的第一步是从Cassandra那里读取数据,而不是编写一个
RichFlatMapFunction
你应该自己写RichSourceFunction
作为参考,您可以看看wikipediaeditssource的简单实现。