我们正试图建立自己的码头形象,使用r和tidyverse与spark。但是,在尝试安装spark时,我们在构建中遇到了一个错误。
这是我们的文档:
# start with the most up-to-date tidyverse image as the base image
FROM rocker/tidyverse:latest
# install openjdk 8 (Java)
RUN apt-get update \
&& apt-get install -y openjdk-8-jdk
# Install sparklyr
RUN install2.r --error --deps TRUE sparklyr
# Install spark
RUN Rscript -e 'sparklyr::spark_install("2.4.3")'
RUN mv /root/spark /opt/ && \
chown -R rstudio:rstudio /opt/spark/ && \
ln -s /opt/spark/ /home/rstudio/
RUN install2.r --error --deps TRUE DBI
RUN install2.r --error --deps TRUE RPostgres
RUN install2.r --error --deps TRUE dbplyr
我们正在使用 Docker compose up
构建然后创建容器。
构建时,它抛出错误:
=> ERROR [4/8] RUN Rscript -e 'sparklyr::spark_install("2.3.0")' 62.0s
------
> [4/8] RUN Rscript -e 'sparklyr::spark_install("2.3.0")':
# 7 61.85 Error in download.file(installInfo$packageRemotePath, destfile = installInfo$packageLocalPath, :
# 7 61.85 download from 'https://archive.apache.org/dist/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz' failed
# 7 61.85 Calls: <Anonymous>
# 7 61.85 Execution halted
------
failed to solve: rpc error: code = Unknown desc = executor failed running [/bin/sh -c Rscript -e 'sparklyr::spark_install("2.3.0")']: exit code: 1
我们还尝试将其作为:
RUN R -e 'sparklyr::spark_install("2.4.3")'
而不是:
RUN Rscript -e 'sparklyr::spark_install("2.4.3")'
但它仍然抛出了一个错误。我们也尝试过安装不同版本的spark,看看是否能正常工作,但仍然没有成功。有人知道我为什么会出现这个错误,以及我如何在docker中正确安装SparkyR和SparkyR?谢谢您。
暂无答案!
目前还没有任何答案,快来回答吧!