硬盘上hdfs系统的物理路径在哪里?

y4ekin9u  于 2021-06-02  发布在  Hadoop
关注(0)|答案(4)|浏览(480)

我是hadoop和hbase的初学者,我下载了一个关于hbase的示例项目进行学习,它似乎使用mr将已有的数据导入hbase。此示例将.txt数据文件放在hdfs:/user/root/uid\u details.txt的此路径下,单击“导入”按钮时,uid\u details.txt中的数据应导入到hbase。
问题是,我不知道磁盘上/user/root/的实际物理路径,所以我不知道uid\u details.txt应该放在磁盘上的什么位置。my core-site.xml和hdfs-site.xml:core-site.xml和hdfs-site.xml的屏幕截图

wa7juj8i

wa7juj8i1#

我猜您正在本地vm中运行所有这些命令(hadoop和hbase已经安装在那里)。
尝试运行以下命令以找出hdfs dir的位置。 hdfs dfs -ls / 它应该列出所有目录,如果你想创建一些目录,你也可以创建。
然后您可以相应地放置文件并开始导入过程。
有关更多信息,请参阅下面的链接
http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/hdfscommands.html

km0tfn4u

km0tfn4u2#

您需要使用hdfs dfs/hadoop fs(或另一个hdfs客户机)将文件放入dfs—磁盘上hdfs块的位置不会帮助您将文件添加到hdfs文件系统—例如

hdfs dfs -put /path/to/uid_details.txt /user/root/uid_details.txt

hdfs dfs -put /path/to/uid_details.txt hdfs://namenodeaddress/user/root/uid_details.txt
yrdbyhpb

yrdbyhpb3#

hadoop(hdfs)中的数据位于 dfs.datanode.data.dir (出现在 hdfs-site.xml ). 但是您不能直接访问这些数据(即,您不能将cd放入目录中查看)。
hbase数据位于中提到的hbase根目录中 hbase.rootdir . 您可以在中检查基目录的位置 hbase-site.xml .

wz3gfoph

wz3gfoph4#

这个 dfs.datanode.data.dir 中的配置 hdfs-site.xml 告诉您文件的物理位置(详细描述 hdfs-site.xml 配置可以在这里找到。
所以在您的特定情况下,文件应该位于 /usr/local/hadoop_dfs/data 目录。

相关问题