使用scala的sparksql

piok6c0g 于 2021-07-14 发布在 Java

关注(0)|答案(1)|浏览(360)

val scc = spark.read.jdbc(url,table,properties)
val d = scc.createOrReplaceTempView(“k”)    

spark.sql(“select * from k”).show()

如果您在这里看到@1，我们正在读取完整的表，然后@3，我们将根据所需的查询获取结果。在这里，读取完整的表，然后查询需要花费大量的时间。我们不能在建立连接时执行查询吗？如果你事先知道这件事，请一定要帮我。

scala apache-spark-sql

来源：https://stackoverflow.com/questions/54805642/sparksql-using-scala

1条答案

按热度按时间

x33g5p2x1#

看看这个。

var dbTable =
        "(select emp_no, concat_ws(' ', first_name, last_name) as full_name from employees) as employees_name";

Dataset<Row> jdbcDF = 
        sparkSession.read().jdbc(CONNECTION_URL, dbTable,connectionProperties);

赞(0）回复(0）举报 2021-07-14

我来回答

使用scala的sparksql

1条答案

相关问题

热门标签

最新问答