import findspark
findspark.init()
import pyspark
from pyspark.sql import HiveContext
//hivecontext
sqlCtx= HiveContext(sc)
//Loading a csv file into dataframe
spark_df = sqlCtx.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load("./data/documents_topics.csv")
//registering temp table
spark_df.registerTempTable("TABLE_Y")
//Creating table out of an existing temp created from data frame table
sqlCtx.sql("CREATE TABLE TABLE_X AS SELECT * from TABLE_Y")
//creating a brand new table in Hive
sqlCtx.sql("CREATE TABLE SomeSchema.TABLE_X (customername string, id string, ts timestamp) STORED AS DESIREDFORMAT")
1条答案
按热度按时间gv8xihay1#
使用配置单元上下文,您将能够在配置单元中创建表,请参阅下面的代码来实现这一点。
希望你能理解代码中的注解,如果遇到问题请告诉我。