使用sparksql创建包含连接的配置单元表时使用的引擎

vojdkbi0 于 2021-06-26 发布在 Hive

关注(0)|答案(2)|浏览(268)

从文档中我不确定在使用spark中的hivecontext创建配置单元表时，它是否使用spark引擎或标准配置单元mapreduce作业来执行任务？

val sc = new SparkContext()
val hc = new HiveContext(sc)

hc.sql("""
    CREATE TABLE db.new_table
    STORED AS PARQUET
    AS SELECT
        field1,
        field2,
        field3
    FROM db.src1 
        JOIN db.src2
        ON (x = y)
"""
)

Hive scala apache-spark apache-spark-sql

来源：https://stackoverflow.com/questions/51322452/engine-used-when-creating-hive-table-with-joins-using-spark-sql

2条答案

按热度按时间

0wi1tuuw1#

Spark 1.6

spark sql支持使用 HiveContext . 它使用 Spark SQL execution engine 使用存储在配置单元中的数据。

above Spark 2.x

val spark=sparksession.builder（）.appname（“sparksessionexample”）.config（“spark.sql.warehouse.dir”，warehouselocation）。 enableHiveSupport() .getorcreate（）

赞(0）回复(0）举报 2021-06-26

roqulrg32#

现在这样做时，spark将使用spark api而不是mr。hivecontext不需要显式引用，即使在spark submit/program模式下也是如此。

赞(0）回复(0）举报 2021-06-26