1.复制pyspark-cassandra连接器Spark文件夹/jar。
1.下面的代码将连接到cassandra。

from pyspark import SparkContext, SparkConf
from pyspark.sql import SQLContext, SparkSession

spark = SparkSession.builder \
  .appName('SparkCassandraApp') \
  .config('spark.cassandra.connection.host', 'localhost') \
  .config('spark.cassandra.connection.port', '9042') \
  .config('spark.cassandra.output.consistency.level','ONE') \
  .master('local[2]') \
  .getOrCreate()

sqlContext = SQLContext(spark)
ds = sqlContext \
  .read \
  .format('org.apache.spark.sql.cassandra') \
  .options(table='emp', keyspace='demo') \
  .load()

ds.show(10)

Cassandra连接器不提供任何Python模块。所有功能都是由Data Source API提供的，只要有所需的jar，所有功能都可以开箱即用。
我怎么才能让星火知道我的 cassandra 星团在哪里？
使用spark.cassandra.connection.host属性。例如，您可以将其作为spark-submit/pyspark的参数传递：

pyspark ... --conf spark.cassandra.connection.host=x.y.z.v

或在配置中设置：

(SparkSession.builder
    .config("cassandra.connection.host", "x.y.z.v"))

可以直接在读取器上设置表名或密钥空间等配置：

(spark.read
    .format("org.apache.spark.sql.cassandra")
    .options(table="kv", keyspace="test", cluster="cluster")
    .load())

因此，您可以遵循Dataframes文档。
作为旁注

import com.datastax.spark.connector._

是一种Scala语法，在Python中只是偶然被接受。

用户名和密码：

spark = SparkSession.builder \
  .appName('SparkCassandraApp') \
  .config('spark.cassandra.connection.host', 'localhost') \
  .config('spark.cassandra.connection.port', '9042') \
  .config("spark.cassandra.auth.username","cassandrauser")\
  .config("spark.cassandra.auth.password","cassandrapwd")\
  .master('local[2]') \
  .getOrCreate()

df = spark.read.format("org.apache.spark.sql.cassandra")\
   .options(table="tablename", keyspace="keyspacename").load()

df.show()