如何使用databrick访问aws公共数据集?

ijxebb2r  于 2021-05-22  发布在  Spark
关注(0)|答案(1)|浏览(535)

我对databricks还不熟悉。我正在为我的学校项目寻找公共大数据集,然后我在以下链接中遇到了aws公共数据集:https://registry.opendata.aws/target/
我在databricks上使用python,我不知道如何建立到数据的连接。我找到了以下指导方法:
https://databricks.com/wp-content/uploads/2015/08/databricks-how-to-data-import.pdf?_ga=2.25033139.881714623.1602433762-982722630.1598480448
它提到

我不知道如何找到相应的访问密钥、密钥、aws\u bucket\u name和mount\u name。

lnlaulya

lnlaulya1#

本文档适用于非公共的s3存储桶。
对于这个数据集,您可以使用 s3://... url,如下所示:

df = spark.read.format("text").load("s3://gdc-target-phs000218-2-open/")

我曾经 text 例如,文件格式,但由于此数据集使用xml存储数据,因此需要使用spark xml库之类的工具来提取必要的数据。

相关问题