无法将文件从本地磁盘复制到hdfs

lo8azlld 于 2021-06-03 发布在 Hadoop

关注(0)|答案(2)|浏览(366)

我已经成功安装了ubuntu12.04和hadoop2.4.0。
输入jps命令后，我发现输出如下

4135 jps
2582 SeconadaryNameNode
3143 NodeManager
2394 Namenode
2391 Datanode
3021 ResourceManager

现在我想运行wordcount示例。
我创建了一个包含一些内容的.txt文件
现在每当我试图通过以下命令将其复制到hadoop hdfs中

hdfs -copyFromLocal /app/hadoop/tmp/input.txt /wordcount/input.txt

（“路径中的wordcount”是我创建的目录）
但它显示了

unrecognised option: -copyFromLocal
could not create the java virtual machine

我做错了什么？

2条答案

您正在使用的命令是较旧的命令。尝试，

hadoop fs -mkdir -p /wordcount/input
hadoop fs -put /app/hadoop/tmp/input.txt /wordcount/input/input.txt

您需要指定要创建的输出目录 /wordcount/output 在这种情况下，在运行作业之前，它不应该存在。如果是这样，工作就会失败。所以你可以删除目录，

hadoop fs -rm -R /wordcount/output

编辑：要查看输出文件，请选中：

hadoop fs -ls /wordcount/output

要查看控制台上的输出，请使用以下命令：

hadoop fs -cat /wordcount/output/part*

编辑2：较新的hadoop cli使用：

hdfs dfs <your_command_here>

例如，

hdfs dfs -ls /

另外，如果你想读书 gzip 文件，你可以用这个，

hdfs dfs -cat /wordcount/output/part* | gzip -d -u

你忘了
dfs hdfs dfs -copyFromLocal /blar /blar imo烫伤是开始编写mapreduce程序的最佳工具。它像pig一样简洁，但像java一样灵活。