我想使用Python绑定到delta-rs来读取我的blob存储。https://github.com/delta-io/delta-rs/tree/main/python
现在我有点不知所措,因为我不知道如何在我的本地机器上配置文件系统。我必须把我的凭证放在哪里?
我可以使用adlfs吗?
from adlfs import AzureBlobFileSystem
fs = AzureBlobFileSystem(
account_name="...",
account_key='...'
)
然后使用fs对象?
如果有人能给我提供一些帮助的话,那就太好了。
最佳
2条答案
按热度按时间pod7payv1#
不幸的是,我们目前还没有很好的文档。你应该能够在这个集成测试中设置
AZURE_STORAGE_ACCOUNT
和AZURE_STORAGE_SAS
环境变量。这将确保Python绑定可以访问表元数据,但通常通过Pandas获取查询数据,我不确定Pandas是否也会处理这些变量(我自己不是ADLSv2用户)。
wkyowqbh2#
一种可能的解决方法是将delta lake文件下载到一个tmp-dir,然后使用python-delta-rs读取这些文件,如下所示: