我正试图通过pyspark连接到远程cassandra服务器,但它在运行cronjob时没有在cassandra中执行写操作。同样的代码在jupyter笔记本上的服务器上工作,但不是通过cronjob。
os.environ['PYSPARK_SUBMIT_ARGS'] = '--master local[*] pyspark-shell --packages com.datastax.spark:spark-cassandra-connector_2.12:2.5.0 --conf spark.cassandra.connection.host=127.0.0.1 pyspark-shell --conf spark.sql.extensions=com.datastax.spark.connector.CassandraSparkExtensions'
from pyspark import SparkContext sc = SparkContext("local", "keyspace_name")
sqlContext = SQLContext(sc)
Data_to_Write.write.format("org.apache.spark.sql.cassandra").mode('append')\
.options(table="tablename",keyspace="keyspace_name").save()
我在cassandra日志中看到这个错误:error[messaging-eventloop-3-3]2020-08-05 09:24:36606 outboundconnectioninitiator。java:373 - 与对等方xx..握手失败。:9042(xx...)。:9042)org.apache.cassandra.net.crc$invalidcrc–
暂无答案!
目前还没有任何答案,快来回答吧!