使用以下代码连接到配置单元database:-
from os.path import join, abspath
from pyspark.sql import SparkSession
from pyspark.sql import Row
warehouse_location = abspath('spark-warehouse')
spark = SparkSession \
.builder \
.appName("Python Spark SQL Hive integration example") \
.config("spark.sql.warehouse.dir", warehouse_location) \
.enableHiveSupport() \
.getOrCreate()
我能够提取表模式,但数据类型已更改为字符串,列的长度也丢失。例如。。。显示创建表名称。
expected output: create table(column_1 char(10))
但结果是
create table(column_1 String)
有什么建议吗,hive使用pyspark提取与列长度完全相同的模式吗?
谢谢
暂无答案!
目前还没有任何答案,快来回答吧!