我使用的是hdp mahout版本0.8。我已经准备好了 MAHOUT_LOCAL="" . 当我跑出去的时候,我看到了信息 HADOOP LOCAL NOT SET RUNNING ON HADOOP 但是我的程序没有将输出写入hdfs目录。有人能告诉我如何让我的mahout程序从hdfs获取输入并将输出写入hdfs吗?
MAHOUT_LOCAL=""
HADOOP LOCAL NOT SET RUNNING ON HADOOP
4ioopgfo1#
假设您有mahoutjar构建,它接受输入并写入hdfs。执行以下操作:从hadoop bin目录:
./hadoop jar /home/kuntal/Kuntal/BIG_DATA/mahout-recommender.jar mia.recommender.RecommenderIntro --tempDir /home/kuntal/Kuntal/BIG_DATA --recommenderClassName org.apache.mahout.cf.taste.impl.recommender.GenericItemBasedRecommender # Input Output Args specify if required -Dmapred.input.dir=./ratingsLess.txt -Dmapred.output.dir=/input/output
请检查:http://chimpler.wordpress.com/2013/02/20/playing-with-the-mahout-recommendation-engine-on-a-hadoop-cluster/
aelbi1ox2#
你定好了吗 $MAHOUT_HOME/bin 以及 $HADOOP_HOME/bin 在路上?例如,在linux上: export PATH=$PATH:$MAHOUT_HOME/bin/:$HADOOP_HOME/bin/ export HADOOP_CONF_DIR=$HADOOP_HOME/conf/ 然后,几乎所有mahout的命令都使用选项-i(输入)和-o(输出)。例如: mahout seqdirectory -i <input_path> -o <output_path> -chunk 64
$MAHOUT_HOME/bin
$HADOOP_HOME/bin
export PATH=$PATH:$MAHOUT_HOME/bin/:$HADOOP_HOME/bin/ export HADOOP_CONF_DIR=$HADOOP_HOME/conf/
mahout seqdirectory -i <input_path> -o <output_path> -chunk 64
2条答案
按热度按时间4ioopgfo1#
假设您有mahoutjar构建,它接受输入并写入hdfs。执行以下操作:
从hadoop bin目录:
请检查:http://chimpler.wordpress.com/2013/02/20/playing-with-the-mahout-recommendation-engine-on-a-hadoop-cluster/
aelbi1ox2#
你定好了吗
$MAHOUT_HOME/bin
以及$HADOOP_HOME/bin
在路上?例如,在linux上:
export PATH=$PATH:$MAHOUT_HOME/bin/:$HADOOP_HOME/bin/ export HADOOP_CONF_DIR=$HADOOP_HOME/conf/
然后,几乎所有mahout的命令都使用选项-i(输入)和-o(输出)。例如:
mahout seqdirectory -i <input_path> -o <output_path> -chunk 64