我需要使用python3对HDFS目录执行一些普通操作。例如，mkdir、chmod、chown、test（如果目录存在）。
我尝试使用pyarrow，因为它是python的官方客户端。
所以，我看了新的API文档，并没有找到任何有用的方法. legacy HDFS API的用法允许这样做，但它是不赞成的.
有人能回答，如何使用新的API进行我提到的操作吗？
我需要使用python3对HDFS目录执行一些普通操作。例如，mkdir、chmod、chown、test（如果目录存在）。
我尝试使用pyarrow，因为它是python的官方客户端。
所以，我看了新的API文档，并没有找到任何有用的方法. legacy HDFS API的用法允许这样做，但它是不赞成的.
有人能回答，如何使用新的API进行我提到的操作吗？
1条答案
按热度按时间6l7fqoea1#
pyarrow.HadoopFileSystem.mkdir的等效值为pyarrow.fs.HadoopFileSystem.create_dir不存在
pyarrow.HadoopFileSystem.test，但存在pyarrow.fs.HadoopFileSystem.get_file_info没有
chown或chmod的等价物。新的文件系统API的动机是“更高级别的Arrow模块所需的最小操作集是什么？（例如数据集API）"。添加到新API的每个方法都必须添加到每个子实现中，而且大多数其他文件系统都有自己的python绑定。您是否考虑过独立的hdfs软件包？