我认为标题很好地总结了我的要求，我会很感激，如果有人请张贴多少类型的HDFS集群（Kerberos等）以及哪个是最好的库，用于connect到每种类型的集群使用python。谢谢你
connect
n1bvdmb61#
Apache Hadoop项目发布的HDFS只有一种类型，有几种Hadoop兼容的文件系统，如Amazon S3或GlusterFS。Kerberos是一种授权系统，而不是一种Hadoop文件系统。如果您希望从Python实现可靠的Hadoop通信，Pyspark将是理想的选择，否则，您可以使用其他几个Python库（只需简单搜索即可找到）与WebHDFS API进行交互
1条答案
按热度按时间n1bvdmb61#
Apache Hadoop项目发布的HDFS只有一种类型，有几种Hadoop兼容的文件系统，如Amazon S3或GlusterFS。
Kerberos是一种授权系统，而不是一种Hadoop文件系统。
如果您希望从Python实现可靠的Hadoop通信，Pyspark将是理想的选择，否则，您可以使用其他几个Python库（只需简单搜索即可找到）与WebHDFS API进行交互