Spark简单选择工作非常缓慢

tjvv9vkg  于 2021-06-10  发布在  Cassandra
关注(0)|答案(0)|浏览(218)

我有一个简单的工作,从表中选择所有条目。这项工作大约需要40秒。完成。对cassandra数据库的相同查询(select*from users)会立即返回所有结果。
表中大约有180个条目。
spark master有~64 gb ram和10核。
我做错什么了吗?

public static void main(String[] args) {
    SparkConf conf = new SparkConf(true)
            .setMaster("spark://172.16.0.179:7077")
            .setJars(new String[] { "spark-cassandra-connector_2.11-2.4.0.jar" })
            .set("spark.driver.extraJavaOptions", "-Dhttp.proxyHost=172.16.0.179 -Dhttp.proxyPort=3128 -Dhttps.proxyHost=172.16.0.179 -Dhttps.proxyPort=3128 ")
            .setAppName("test")
            .set("spark.cassandra.connection.host", "172.16.0.179")
            .set("spark.executor.memory", "64g")
            .set("spark.driver.memory", "6g")

    SparkSession spark = SparkSession.builder()
            .config(conf)
            .getOrCreate();

    SQLContext sqlContext = new org.apache.spark.sql.SQLContext(spark);

    HashMap<String, String> options = new HashMap<String, String>();
    options.put("keyspace", "testkeyspace");
    options.put("table", "users");
    sqlContext.read()
            .format("org.apache.spark.sql.cassandra")
            .options(options)
            .load()
            .show(10);

    spark.stop();
}

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题