pyspark 如何将spark.sql.dataframe写入数据库中的S3 bucket？

mwg9r5ms 于 2023-03-11 发布在 Spark

关注(0)|答案(1)|浏览(162)

我正在使用数据库，我正在从一个桶中阅读.csv文件。

MOUNT_NAME = "myBucket/"
ALL_FILE_NAMES = [i.name for i in dbutils.fs.ls("/mnt/%s/" % MOUNT_NAME)] \
dfAll = spark.read.format('csv').option("header", "true").schema(schema).load(["/mnt/%s/%s" % (MOUNT_NAME, FILENAME) for FILENAME in ALL_FILE_NAMES])

我想同时在那里写一个表格。

myTable.write.format('com.databricks.spark.csv').save('myBucket/')

pyspark

来源：https://stackoverflow.com/questions/60870860/how-to-write-a-spark-sql-dataframe-into-a-s3-bucket-in-databricks

1条答案

按热度按时间

ibps3vxo1#

下面的代码片段显示了如何在DBFS和S3上将 Dataframe 保存为单个CSV文件。

myTable.write.save(“s3n://my-bucket/my_path/”, format=”csv”)

或

# DBFS (CSV)
df.write.save('/FileStore/parquet/game_stats.csv', format='csv')
# S3 (CSV)
df.coalesce(1).write.format("com.databricks.spark.csv")
   .option("header", "true").save("s3a://my_bucket/game_sstats.csv")

赞(0）回复(0）举报 2023-03-11

我来回答

pyspark 如何将spark.sql.dataframe写入数据库中的S3 bucket？

1条答案

相关问题

热门标签

最新问答