在AWS Glue中，我有一个从SQL Server表加载的Spark dataframe，所以它的数据中确实有实际的NULL值（而不是字符串“null”）。我想将这个dataframe写入CSV文件，除了那些NULL值之外，所有值都用双引号引起来。
我尝试在dataframe.write操作中使用quoteAll=True，nullValue=''，emptyValue=''选项：

df.coalesce(1).write.format("csv").mode('overwrite').options(header='true', path=output_path, escape='\\', quoteAll=True, nullValue='', emptyValue='').save()

然而，这也引用了NULL值-这里是一个col 2为NULL的示例：

col1, col2, col3
"value1","","value3"

相反，我需要这个：

col1, col2, col3
"value1",,"value3"

什么是最简单和/或最干净的方法来实现这一点（我意识到最干净和最简单的可能是2个不同的解决方案...）？
谢谢大家！