我现在使用以下链接安装hadoop:
https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/singlecluster.html#pseudo-分布式操作
我对安装hadoop平台并将其设置为独立模式有疑问。
首先在独立操作中生成输入文件,此站点写入命令如下:
$ mkdir input
$ cp etc/hadoop/*.xml input
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'
$ cat output/*
这是什么过程??运行示例??
我发出了这些命令,我得到了错误,如下图所示:
有什么问题??
1条答案
按热度按时间33qvvth11#
这是什么过程??运行示例??
这些命令没有认真地处理任何事情,只是执行hadoopjar文件提供的预定义示例,以确保安装和配置正确。
假设您在执行以下命令时在目录“/”中:
$ mkdir input
:在根目录下创建名为input的目录/$ cp etc/hadoop/*.xml
输入:将hadoop conf文件(*.xml)从/etc/hadoop复制到/input$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'
:执行hadoop库附带的内置示例类。本例从目录/input下的所有hadoop xml conf文件中提取以dfs开头的参数,并将结果写入目录/output(作为执行的一部分由hadoop隐式创建)。
$ cat output/*
:此命令打印终端中目录/输出下的所有文件内容。有什么问题??
您在这里面临的问题是“输入路径”。路径很模糊,hadoop没有解析它。确保以独立模式运行hadoop。最后通过给出绝对路径(输入和输出)来执行示例,如下所示:
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep /input /output 'dfs[a-z.]+'