AmazonWeb服务—为什么spark会话将int、char数据类型转换为字符串,以及如何从配置单元中提取实际模式

9ceoxa92  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(281)

使用以下代码连接到配置单元database:-

from os.path import join, abspath

from pyspark.sql import SparkSession
from pyspark.sql import Row

warehouse_location = abspath('spark-warehouse')

spark = SparkSession \
    .builder \
    .appName("Python Spark SQL Hive integration example") \
    .config("spark.sql.warehouse.dir", warehouse_location) \
    .enableHiveSupport() \
    .getOrCreate()

我能够提取表模式,但数据类型已更改为字符串,列的长度也丢失。例如。。。显示创建表名称。

expected output:  create table(column_1 char(10))

但结果是

create table(column_1 String)

有什么建议吗,hive使用pyspark提取与列长度完全相同的模式吗?
谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题