当我把spark Dataframe 写入delta时,列名会变成其他值。请看下面的内容
silver_path=data_lake_container+"/"+ destination["folder"]
df_date.write \
.format("delta") \
.mode("overwrite") \
.option("header","true") \
.option("overwriteSchema", "true") \
.option("path", silver_path) \
.partitionBy("X ","Y","Z ") \
.saveAsTable('Table_name') # External table
但文件夹已写入以下格式
而不是X的值是这样来的。你知道它是这样来的吗
1条答案
按热度按时间jgwigjjp1#
这是因为您的表启用了列Map。你能做到
在该表上,您应该看到以下表属性:
delta.minReaderVersion
delta.minWriterVersion
delta.columnMapping.mode
delta.columnMapping.maxColumnId