hadoop中的linux文件系统

inkz8wg9  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(421)

最近我开始学习hadoop多集群
文件系统的工作原理在hadoop中。
例如,如果我有一个test.txt文件中的农民的全部细节。我是否需要上传文件在主hdfs服务器或在从属服务器。

x6492ojm

x6492ojm1#

首先,你需要上传file:text.txt to 集群的一个节点(可以是主服务器或从服务器),例如,上传到/tmp foler,得到:/tmp/text.txt,然后使用以下命令:


# hadoop fs -put /tmp/text.txt /tmp

然后使用命令:


# hadoop fs -ls /tmp

你会发现file:text.txt has 已经在hdfs文件夹中:/tmp

vmpqdwk3

vmpqdwk32#

要了解hadoop文件系统是如何工作的,请参阅hadoop:权威指南一书
目前,要将文件加载到hdfs中,只需运行 -put 或者 -copyFromLocal 来自集群的edgenode的命令(意味着可以从何处运行 hadoop 命令),其余的将由hadoop框架处理。你的命令看起来像 hadoop fs 设置

$ hadoop fs -copyFromLocal /home/user1/farmer_details.txt /user/user1

$ hadoop fs -put /home/user1/farmer_details.txt /user/user1

你也可以试试 hdfs dfs

$ hdfs dfs -copyFromLocal /home/user1/farmer_details.txt /user/user1

$ hdfs dfs -put /home/user1/farmer_details.txt /user/user1

哪里 /home/user1/farmer_details.txt 是本地文件系统中的源位置 /user/user1 是hadoop文件系统中的目标位置。
要验证上载的文件,可以运行命令

$ hadoop fs -ls /user/user1

你应该得到 /user/user1/farmer_details.txt 文件。

相关问题