pyspark 如何将Spark Dataframe 数据加载到Synapse中的Synapse专用池中？

thtygnil 于 2022-12-03 发布在 Spark

关注(0)|答案(1)|浏览(131)

我有一个包含100000条记录的 Dataframe ，这些记录是我们在转换后得到的，现在我必须将所有这些数据加载到COUNTRY_TABLE中的Synapse专用池中。我如何在Synapse中实现这一点？
少数其他质询
1.是否必须在专用池表中创建 Dataframe 列的模式？
1.我们可以如何在专用池中覆盖数据每次从使用查询在Spark笔记本，如果新的数据来了，我想用新的数据覆盖旧的数据每次。
我还为专用池中的目标表创建了一个模式，其中包含spark Dataframe 中的所有列名

pyspark

来源：https://stackoverflow.com/questions/74617642/how-to-load-a-spark-dataframe-data-into-synapse-dedicated-pool-in-synapse