例如,下面是我的代码:
spark = SparkSession.builder.appName('SparkCassandraApp')\
.config('spark.cassandra.connection.host', 'xx.xx.xx.xx') \
.config('spark.cassandra.connection.port', '9042') \
.config("spark.cassandra.auth.username","username")\
.config("spark.cassandra.auth.password","password")\
.getOrCreate()
df = spark.read.format("org.apache.spark.sql.cassandra").option("table","local").option( "keyspace","system").load().select('host_id')
df.show()
获取以下错误:
error executor.executor:第0.0阶段任务0.0中出现异常(tid 0)java.io.ioexception:准备从“system”中选择“host\u id”时出现异常。“local”where token(“key”)<?允许过滤:org/apache/spark/sql/catalyst/package$scalareflectionlock$位于com.datastax.spark.connector.rdd.cassandratablescanrdd.createstatement(cassandratablescanrdd)。scala:323)
我在用
spark版本:2.4.6
scala版本:2.11.12
spark cassendra-连接器spark-cassandra-connector_2.11-2.0.5-yb-2.jar
1条答案
按热度按时间w41d8nur1#
对于spark 2.4.x,您需要使用spark cassandra connector 2.4.3或新发布的2.5.0。spark cassandra连接器仅与spark 2.0-2.2兼容。请参见兼容性矩阵。
请参阅有关如何将scc 2.5.0与pyspark一起使用的说明。