使用hdfs3读取文件失败

ijnw1ujt 于 2021-06-02 发布在 Hadoop

关注(0)|答案(2)|浏览(402)

我正在尝试使用hdfs3模块用python读取hdfs上的一个文件。

import hdfs3
hdfs = hdfs3.HDFileSystem(host='xxx.xxx.com', port=12345)
hdfs.ls('/projects/samplecsv/part-r-00000')

这就产生了

[{'block_size': 134345348,
  'group': 'supergroup',
  'kind': 'file',
  'last_access': 1473453452,
  'last_mod': 1473454723,
  'name': '/projects/samplecsv/part-r-00000/',
  'owner': 'dr',
  'permissions': 420,
  'replication': 3,
  'size': 98765631}]

因此它似乎能够访问hdfs并读取目录结构。但是，读取文件失败。

with hdfs.open('/projects/samplecsv/part-r-00000', 'rb') as f:
    print(f.read(100))

给予

---------------------------------------------------------------------------
OSError                                   Traceback (most recent call last)
<ipython-input-94-46f0db8e87dd> in <module>()
      1 with hdfs.open('/projects/samplecsv/part-r-00000', 'rb') as f:
----> 2     print(f.read(100))

/anaconda3/lib/python3.5/site-packages/hdfs3/core.py in read(self, length)
    615                     length -= ret
    616                 else:
--> 617                     raise IOError('Read file %s Failed:' % self.path, -ret)
    618 
    619         return b''.join(buffers)
OSError: [Errno Read file /projects/samplecsv/part-r-00000 Failed:] 1

有什么问题吗？我用的是python3.5。

hadoop hdfs python

来源：https://stackoverflow.com/questions/40133440/reading-files-with-hdfs3-fails

2条答案

按热度按时间

k5hmc34c1#

如果要对文件执行任何操作，则必须传递完整的文件路径。

import hdfs3
hdfs = hdfs3.HDFileSystem(host='xxx.xxx.com', port=12345)
hdfs.ls('/projects/samplecsv/part-r-00000')

# you have to add file to location

hdfs.put('local-file.txt', '/projects/samplecsv/part-r-00000')

with hdfs.open('projects/samplecsv/part-r-00000/local-file.txt', 'rb') as f:
    print(f.read(100))

赞(0）回复(0）举报 2021-06-03

z2acfund2#

在这种情况下，如果您想从hdfs目录中读取多个文件，可以尝试以下示例：

import hdfs3
  hdfs = hdfs3.HDFileSystem(host='xxx.xxx.com', port=12345)
  hdfs.ls('/projects/samplecsv/part-r-00000')

  #you have to add file to location if its not present.
  hdfs.put('local-file.txt', '/projects/samplecsv/part-r-00000')

  file_loc = '/projects/samplecsv/part-r-00000'
  for file in hdfs.glob(os.path.join(file_loc , '*.txt')):
      with hdfs.open(file) as f:
          print(f.read(100))

赞(0）回复(0）举报 2021-06-02

我来回答

使用hdfs3读取文件失败

2条答案

相关问题

热门标签

最新问答