hdfs和adl有什么区别?

6rqinv9w  于 2021-05-31  发布在  Hadoop
关注(0)|答案(2)|浏览(586)

我对azuredatalake如何以不同于hdfs的方式存储数据感到困惑。谁能简单地解释一下吗?

7xllpg7q

7xllpg7q1#

hdfs是一个文件系统。hdfs代表hadoop分布式文件系统。它是apachehadoop生态系统的一部分。阅读有关hdfs的更多信息
adls是微软提供的azure存储产品。adls代表azure数据湖存储。它提供分布式存储文件格式以满足批量数据处理的需要。
adls拥有内部分布式文件系统格式azureblob文件系统(abfs)。此外,它还提供类似于hadoop的文件系统接口api,以使用uri方案来寻址adl中的文件和目录。这样,使用hdfs的应用程序在不更改代码的情况下更容易迁移到adl。对于使用hdfs驱动程序访问hdfs的客户机,使用abfs驱动程序访问adls可以获得类似的体验。
azure数据湖存储gen2 uri
与azuredatalake存储gen2兼容的hadoop文件系统驱动程序通过其方案标识符abfs(azureblob文件系统)而闻名。与其他hadoop文件系统驱动程序一致,abfs驱动程序使用uri格式来寻址支持datalake storage gen2的帐户中的文件和目录。
更多关于azure数据湖存储的信息
hadoop兼容访问:datalakestorage gen2允许您像使用hadoop分布式文件系统(hdfs)一样管理和访问数据。新的abfs驱动程序在所有apachehadoop环境中都可用,包括azure hdinsight、azure databricks和azure synapse analytics,用于访问存储在datalake storage gen2中的数据。
另外,请阅读hadoop兼容文件系统(hcfs),它确保分布式文件系统(如azureblob存储)api满足一系列要求,以满足使用apachehadoop生态系统的需要,类似于hdfs。更多关于HCF的信息

vshtjzan

vshtjzan2#

ADL可以被认为是microsoft管理的HDF。因此,本质上,您可以使用他们的托管服务(无需修改任何分析或下游代码),而不用在azure上设置自己的HDF

相关问题