将文件从本地文件系统复制到hdfs时出错,你能帮我一下吗,我正在使用以下命令:
hadoopd fs -put text.txt file
gz5pxeao1#
使用
hadoop dfs -put /text.txt /file ``` `hadoop dfs -put /path/to/local/file /path/to/hdfs/file`
c3frrgcw2#
如果不知道具体的错误,你很难回答。其他响应者发布了正确的语法。但是,在尝试将文件复制到hdfs时,权限问题并不少见。默认情况下,用户和组通常是“hdfs”和“supergroup”。您的用户帐户可能不属于“超级组”,将出现权限被拒绝错误。尝试以以下方式运行命令:
sudo -u hdfs hadoop fs -put /path/to/local/file /path/to/hdfs/file
或
sudo -u hdfs hadoop dfs -put /path/to/local/file /path/to/hdfs/file
您可以通过将hdfs上目标目录的所有权和权限更改为更大的权限来避免必须这样做。
8qgya5xd3#
put 以及 copyFromLocal 命令可帮助您将数据从本地系统复制到hdfs,前提是您具有这样做的权限。
put
copyFromLocal
hadoop fs -put /path/to/textfile /path/to/hdfs OR hadoop dfs -put /path/to/textfile /path/to/hdfs
犯下你的错误:您键入上述命令为
hadoopd fs
t8e9dugd4#
您可以使用以下命令 hadoop fs -copyFromLocal text.txt <path_to_hdfs_directory_where_you_want_to_keep_text.txt>
hadoop fs -copyFromLocal text.txt <path_to_hdfs_directory_where_you_want_to_keep_text.txt>
mrwjdhj35#
“datastreamer异常:org.apache.hadoop.ipc.remoteexception:java.io.ioexception:file/user/hduser/myfile只能复制到0个节点,而不是org.apache.hadoop.hdfs.server.namenode.fsnamesystem.getadditionalblock中的1个节点。”。由此看来,您的数据节点没有正常运行。请在群集ui中检查,然后重试hadoop dfs-put/path/file/hdfs/file(hadoopYarn)hadoop fs-copyfromlocal/path/file/hdfs/file(hadoop1.x)
5条答案
按热度按时间gz5pxeao1#
使用
c3frrgcw2#
如果不知道具体的错误,你很难回答。其他响应者发布了正确的语法。但是,在尝试将文件复制到hdfs时,权限问题并不少见。
默认情况下,用户和组通常是“hdfs”和“supergroup”。您的用户帐户可能不属于“超级组”,将出现权限被拒绝错误。尝试以以下方式运行命令:
或
您可以通过将hdfs上目标目录的所有权和权限更改为更大的权限来避免必须这样做。
8qgya5xd3#
put
以及copyFromLocal
命令可帮助您将数据从本地系统复制到hdfs,前提是您具有这样做的权限。犯下你的错误:
您键入上述命令为
t8e9dugd4#
您可以使用以下命令
hadoop fs -copyFromLocal text.txt <path_to_hdfs_directory_where_you_want_to_keep_text.txt>
mrwjdhj35#
“datastreamer异常:org.apache.hadoop.ipc.remoteexception:java.io.ioexception:file/user/hduser/myfile只能复制到0个节点,而不是org.apache.hadoop.hdfs.server.namenode.fsnamesystem.getadditionalblock中的1个节点。”。由此看来,您的数据节点没有正常运行。请在群集ui中检查,然后重试
hadoop dfs-put/path/file/hdfs/file(hadoopYarn)hadoop fs-copyfromlocal/path/file/hdfs/file(hadoop1.x)