rhadoop基本任务

tjvv9vkg 于 2021-05-30 发布在 Hadoop

关注(0)|答案(1)|浏览(469)

我在rhadoop中运行以下代码：

Sys.setenv(HADOOP_HOME="/home/ashkan/Downloads/hadoop-1.0.3/")
Sys.setenv(HADOOP_BIN="/home/ashkan/Downloads/hadoop-1.0.3/bin/")
Sys.setenv(HADOOP_CONF_DIR="/home/ashkan/Downloads/hadoop-1.0.3/conf")
Sys.setenv(HADOOP_CMD="/home/ashkan/Downloads/hadoop-1.0.3/bin/hadoop")
library (Rhipe)
library(rhdfs)
library(rmr2)

hdfs.init()
small.ints = to.dfs(1:10)
  mapreduce(
    input = small.ints, 
  map = function(k, v)
  {
    lapply(seq_along(v), function(r){
      x <- runif(v[[r]])
      keyval(r,c(max(x),min(x)))
    })})

但是，我得到以下错误：

Error in mr(map = map, reduce = reduce, combine = combine, vectorized.reduce,  : 
  hadoop streaming failed with error code 1

有人知道问题出在哪里吗？谢谢。

Java hadoop r rstudio rhadoop

来源：https://stackoverflow.com/questions/28907314/rhadoop-basic-task-on-a-single-machine

1条答案

按热度按时间

ryoqjall1#

要解决这个问题，你必须设置 HADOOP_STREAMING 环境变量。下面的代码对我很有用。请注意，您的代码没有使用 Rhipe 所以不需要加载。
r代码（我使用的是Hadoop2.4.0）

Sys.setenv("HADOOP_CMD"="/usr/local/hadoop/bin/hadoop")
Sys.setenv("HADOOP_STREAMING"="/usr/local/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.4.0.jar")

library(rhdfs)

# Initialise

hdfs.init()
library(rmr2)

hdfs.init()
small.ints = to.dfs(1:10)
  mapreduce(
    input = small.ints, 
  map = function(k, v)
  {
    lapply(seq_along(v), function(r){
      x <- runif(v[[r]])
      keyval(r,c(max(x),min(x)))
    })})

我猜您的hadoop流媒体路径如下：

Sys.setenv("HADOOP_STREAMING"="/home/ashkan/Downloads/hadoop-1.0.3/contrib/streaming/hadoop-streaming-1.0.3.jar")

希望这有帮助。

赞(0）回复(0）举报 2021-05-30

我来回答

rhadoop基本任务

1条答案

相关问题

热门标签

最新问答