flink和cassandra连接问题

ecr0jaav  于 2021-06-24  发布在  Flink
关注(0)|答案(1)|浏览(455)

有没有人在flink的数据流之外正常连接cassandra时遇到过任何问题?

Session session = clusterBuilder.getCluster().connect();
    ResultSet resultSet = session.execute(resultStatement.getQuery());

我不是在locale中面对这个问题,而是在dev环境中。在本地连接方面,它运行良好。即使使用相同的clusterbuilder设置,当我将这段代码保存在datastream processelement中时,也会在dev中建立连接。
我在main中遇到了一个程序调用错误,由于flink1.7的限制,我无法看到整个错误。在dashboard中,您无法在Flink1.7中看到整个异常跟踪。作业未提交。
有人对此有任何线索或是面对类似的事情吗?

6jygbczu

6jygbczu1#

最可能的原因(我不是flinkMaven,但我见过spark的这个问题)是 Session 对象不可序列化,无法发送给执行者/工作者。
为了解决这个问题,通常有一个带有显式 open / close 允许初始化不可序列化类的调用。如我所见,flink有一个用于外部数据访问的异步i/o的概念,它可能用于访问cassandra。

相关问题