什么是hadoop文件系统中的目录路径？

6yoyoihd 于 2021-06-03 发布在 Hadoop

关注(0)|答案(2)|浏览(482)

最近我开始学习hadoop和mahout。我想知道hadoop文件系统目录中的目录路径。
在hadoop-1.2.1/conf/core-site.xml中，我指定了：

<property>
  <name>hadoop.tmp.dir</name>
  <value>/Users/Li/File/Java/hdfstmp</value>
  <description>A base for other temporary directories.</description>
</property>

在hadoop文件系统中，我有以下目录：

lis-macbook-pro:Java Li$ hadoop fs -ls
Found 4 items
drwxr-xr-x   - Li supergroup          0 2013-11-06 17:25 /user/Li/output
drwxr-xr-x   - Li supergroup          0 2013-11-06 17:24 /user/Li/temp
drwxr-xr-x   - Li supergroup          0 2013-11-06 14:50 /user/Li/tweets-seq
-rw-r--r--   1 Li supergroup    1979173 2013-11-05 15:50 /user/Li/u.data

现在，/user/li/output目录在哪里？
我试过：

lis-macbook-pro:usr Li$ cd /user/Li/output
-bash: cd: /user/Li/output: No such file or directory

所以我认为/user/li/output是一条相对路径而不是绝对路径。
然后我在/users/li/file/java/hdfstmp中搜索它。有两个文件夹：
dfs
Map
但我仍然无法在/users/li/file/java/hdfstmp中找到/user/li/output。

Java hadoop FileSystems Path mahout

来源：https://stackoverflow.com/questions/19938606/what-is-the-path-to-directory-within-hadoop-filesystem

2条答案

按热度按时间

yftpprvb1#

你第一次打电话给 hadoop fs -ls 是一个相对目录列表，对于当前用户，它通常位于一个名为 /user/${user.name} 在hdfs中。所以你的 hadoop fs -ls 命令正在列出与此位置相关的文件/目录-在您的情况下 /user/Li/ 您应该能够通过运行一个绝对列表来Assert这一点，并确认内容/输出匹配： hadoop fs -ls /user/Li/ 由于这些文件在hdfs中，您将无法在本地文件系统中找到它们—它们作为块（对于真实文件）和元数据条目（对于文件和目录）分布在集群节点上。

赞(0）回复(0）举报 2021-06-04

ztmd8pv52#

所有的文件都存在于hadoop分布式文件系统hdfs下。所以这些文件不存在于文件系统或目录结构中
在hdfs中，这些存储为

Path("hdfs://host:port/file"));

端口的设置存在于hadoop$hadoop\u home/etc/hadoop/core-site.xml的配置目录下的xml文件中

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9010</value>
</property>

您可以在命令行的帮助下查看hdfs下的文件

hdfs dfs -ls

基本的linux命令可以从命令行运行

hdfs dfs -<Command>

在这个帮助下，你可以创建目录删除文件或目录和其他事情也

赞(0）回复(0）举报 2021-06-03

我来回答

什么是hadoop文件系统中的目录路径？

2条答案

相关问题

热门标签

最新问答