我需要将文件系统中的a文件复制到hdfs中,下面是hdfs-site.xml中的配置。如何使用“hadoop fs”命令将/home/text.txt中的文件复制到hdfs中?我应该把它复制到namenode还是datanode?
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop_store/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop_store/hdfs/datanode</value>
</property>
</configuration>
1条答案
按热度按时间zhte4eai1#
你用什么hadoop版本?目录
dfs.namenode.name.dir
用于存储元数据和目录dfs.datanode.data.dir
用于存储真实数据(如用户数据)。如果要将文件上载到hdfs,则无需将其复制到namenode或datanode。因为hdfs可以做到。最后,您的数据将存储在datanode上。
你可以使用commond
bin/hadoop fs -mkdir /input
以及bin/hadoop fs copyFromLocal /home/text.txt /input
. 第一种方法是在hdfs上创建目录“input”,第二种方法是将文件复制到hdfs。