我对databricks还不熟悉。我正在为我的学校项目寻找公共大数据集,然后我在以下链接中遇到了aws公共数据集:https://registry.opendata.aws/target/
我在databricks上使用python,我不知道如何建立到数据的连接。我找到了以下指导方法:
https://databricks.com/wp-content/uploads/2015/08/databricks-how-to-data-import.pdf?_ga=2.25033139.881714623.1602433762-982722630.1598480448
它提到
我不知道如何找到相应的访问密钥、密钥、aws\u bucket\u name和mount\u name。
1条答案
按热度按时间lnlaulya1#
本文档适用于非公共的s3存储桶。
对于这个数据集,您可以使用
s3://...
url,如下所示:我曾经
text
例如,文件格式,但由于此数据集使用xml存储数据,因此需要使用spark xml库之类的工具来提取必要的数据。