scala dataframe列，将空间另存为databricks表

14ifxucb 于 2021-07-09 发布在 Spark

关注(0)|答案(1)|浏览(375)

我正在开发databricks notebook（scala），我有一个类似这样的spark查询： df = spark.sql("SELECT columnName ASColumn NameFROM table") 我想把它存储为databricks表。我尝试了以下代码：

df.write.mode("overwrite").saveAsTable("df")

但由于列名中的空格，它给出了一个错误。错误如下：
属性名包含“，；{}（）中的无效字符\n\t=“。请使用别名重命名它。；
我不想删除空间，所以有没有其他的选择呢？

1条答案

不，这是databricks在引擎盖下使用的底层技术的限制（例如，parquet-677）。这里唯一的解决方案是重命名列，如果需要在名称中留有空格，请在读回该列时进行重命名。