Pyspark Dataframe写入delta分区中的列名问题

jecbmhm3  于 2023-04-29  发布在  Spark
关注(0)|答案(1)|浏览(182)

当我把spark Dataframe 写入delta时,列名会变成其他值。请看下面的内容

silver_path=data_lake_container+"/"+ destination["folder"]
df_date.write \
        .format("delta") \
        .mode("overwrite") \
        .option("header","true") \
        .option("overwriteSchema", "true") \
        .option("path", silver_path) \
        .partitionBy("X ","Y","Z ") \
        .saveAsTable('Table_name') # External table

但文件夹已写入以下格式

而不是X的值是这样来的。你知道它是这样来的吗

jgwigjjp

jgwigjjp1#

这是因为您的表启用了列Map。你能做到

describe table extended Table_name

在该表上,您应该看到以下表属性:

  • delta.minReaderVersion
  • delta.minWriterVersion
  • delta.columnMapping.mode
  • delta.columnMapping.maxColumnId

相关问题