我可以在运行OSX的macbook上运行hadoop上的MatlabMapReduce框架吗?

62lalag4  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(334)

我试着在hadoop上运行matlab的mapreduce。我正在尝试将matlab中的环境变量设置为hadoop安装文件夹。

setenv('HADOOP_HOME', '/usr/local/bin/hadoop')

但我得到了一个错误:

Error using parallel.cluster.Hadoop (line 111) 
Unable to recognize '/Users/Hadoop/Documents/hadoop-2.7.2/' as a valid HADOOP installation folder. 
Check that this is the root of your HADOOP installation folder.

matlab版本:r2015b os x版本:10.10.5 os x yosemite hadoop版本:2.7.2
我用自制软件安装了hadoop

brew install hadoop
ntjbwcob

ntjbwcob1#

因为您使用的是hadoopv2,所以需要设置 HADOOP_PREFIX 或者 MATLAB_HADOOP_INSTALL 环境变量而不是 HADOOP_HOME 环境变量。
从文档中
如果您只使用hadoopv1,请设置 HADOOP_HOME 环境变量。
如果您只使用hadoopv2,请设置 HADOOP_PREFIX 环境变量。
如果您同时使用hadoopv1和hadoopv2,或者 HADOOP_HOME 以及 HADOOP_PREFIX 如果未设置环境变量,请设置 MATLAB_HADOOP_INSTALL 环境变量。
您还需要确保指向的是安装文件夹,而不是可执行文件。所以不是 /usr/local/bin/hadoop (可执行文件)它将类似于 /usr/local/Cellar/hadoop/2.7.2/libexec (安装文件夹)。
您还需要为hadoop指定java的位置。这里有更多的信息。

相关问题