我是新的Spark，不知道如何才能做到这一点。任何关于如何查询Cassandra和消费者Kafka流从同一Spark工作的想法。基本上，我想问Cassandra，得到一些信息时，工作开始。然后，继续消费Kafka。用我从Cassandra那里得到的信息来转换Kafka的数据。那么，我怎样才能保证这两个事件的顺序呢。
vsnjm48y1#
你可以用SparkCassandra连接器。也就是说，将连接和查询cassandra的代码与向kafka发送数据的代码结合起来。您可以在这里找到用于读写cassandra的java实现。要将您的数据发送给Kafka，请查看此代码的sendtokafka方法。
1条答案
按热度按时间vsnjm48y1#
你可以用SparkCassandra连接器。也就是说，将连接和查询cassandra的代码与向kafka发送数据的代码结合起来。您可以在这里找到用于读写cassandra的java实现。要将您的数据发送给Kafka，请查看此代码的sendtokafka方法。