如何通过pyspark连接到远程cassandra服务器以在cassandra中写入数据?

aor9mmx1  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(370)

我正试图通过pyspark连接到远程cassandra服务器,但它在运行cronjob时没有在cassandra中执行写操作。同样的代码在jupyter笔记本上的服务器上工作,但不是通过cronjob。

os.environ['PYSPARK_SUBMIT_ARGS'] = '--master local[*] pyspark-shell --packages com.datastax.spark:spark-cassandra-connector_2.12:2.5.0 --conf spark.cassandra.connection.host=127.0.0.1 pyspark-shell --conf spark.sql.extensions=com.datastax.spark.connector.CassandraSparkExtensions'
from pyspark import SparkContext sc = SparkContext("local", "keyspace_name") 
sqlContext = SQLContext(sc)

Data_to_Write.write.format("org.apache.spark.sql.cassandra").mode('append')\
  .options(table="tablename",keyspace="keyspace_name").save()

我在cassandra日志中看到这个错误:error[messaging-eventloop-3-3]2020-08-05 09:24:36606 outboundconnectioninitiator。java:373 - 与对等方xx..握手失败。:9042(xx...)。:9042)org.apache.cassandra.net.crc$invalidcrc–

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题