pyspark 使用abfss路径从结构工作区获取表列表

5uzkadbs 于 2023-10-15 发布在 Spark

关注(0)|答案(1)|浏览(129)

我目前正在尝试通过使用ABFS（Azure Blob文件系统）路径从位于单独工作区的lakehouse中检索表列表。尽管我做出了努力，但迄今为止我使用的代码并没有产生预期的结果。我现在正在考虑这项任务是否可行。代码示例如下所示。

olspath = "abfss://path................"



#df=spark.read.format('delta').load(olspath)
#df=spark.read.load(olspath)
df=spark.read.schema(olspath)
#df.write.mode("overwrite").format('delta').save("Tables/"+"Account")
df.show()

pyspark

来源：https://stackoverflow.com/questions/77101104/get-the-list-of-tables-from-fabric-workspace-using-abfss-path

1条答案

按热度按时间

q1qsirdb1#

使用dbutils你可以得到表的路径，通过检查它们是否是delta或者不是你得到的表。

dbutils.fs.ls("<Your_abfss_path>")

验证码：

from delta.tables import *
files = dbutils.fs.ls("Your_abfss_path")
print(f"Tables in given path")
for i in files:
    if DeltaTable.isDeltaTable(spark,i[0]):
        DeltaTable.forPath(spark,i[0]).toDF().show()

在Onelake

赞(0）回复(0）举报 2023-10-15

我来回答

pyspark 使用abfss路径从结构工作区获取表列表

1条答案

相关问题

热门标签

最新问答