将文件从本地复制到hdfs时出错

eeq64g8w  于 2021-05-30  发布在  Hadoop
关注(0)|答案(5)|浏览(602)

将文件从本地文件系统复制到hdfs时出错,
你能帮我一下吗,
我正在使用以下命令:

hadoopd fs -put text.txt file
gz5pxeao

gz5pxeao1#

使用

hadoop dfs -put /text.txt /file
``` `hadoop dfs -put /path/to/local/file /path/to/hdfs/file` 
c3frrgcw

c3frrgcw2#

如果不知道具体的错误,你很难回答。其他响应者发布了正确的语法。但是,在尝试将文件复制到hdfs时,权限问题并不少见。
默认情况下,用户和组通常是“hdfs”和“supergroup”。您的用户帐户可能不属于“超级组”,将出现权限被拒绝错误。尝试以以下方式运行命令:

sudo -u hdfs hadoop fs -put /path/to/local/file /path/to/hdfs/file

sudo -u hdfs hadoop dfs -put /path/to/local/file /path/to/hdfs/file

您可以通过将hdfs上目标目录的所有权和权限更改为更大的权限来避免必须这样做。

8qgya5xd

8qgya5xd3#

put 以及 copyFromLocal 命令可帮助您将数据从本地系统复制到hdfs,前提是您具有这样做的权限。

hadoop fs -put /path/to/textfile /path/to/hdfs
OR
hadoop dfs -put /path/to/textfile /path/to/hdfs

犯下你的错误:
您键入上述命令为

hadoopd fs
t8e9dugd

t8e9dugd4#

您可以使用以下命令 hadoop fs -copyFromLocal text.txt <path_to_hdfs_directory_where_you_want_to_keep_text.txt>

mrwjdhj3

mrwjdhj35#

“datastreamer异常:org.apache.hadoop.ipc.remoteexception:java.io.ioexception:file/user/hduser/myfile只能复制到0个节点,而不是org.apache.hadoop.hdfs.server.namenode.fsnamesystem.getadditionalblock中的1个节点。”。由此看来,您的数据节点没有正常运行。请在群集ui中检查,然后重试
hadoop dfs-put/path/file/hdfs/file(hadoopYarn)hadoop fs-copyfromlocal/path/file/hdfs/file(hadoop1.x)

相关问题