通过spark获取hdp版本

ifsvaxew 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(348)

我们安装了新的spark版本，因此所有文件夹的名称都类似于：

ls /etc/hadoop/
2.6.4.0-91  conf  conf.backup

来自 spark-submit 我们得到

spark-submit --version
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.0.2.6.4.0-91
      /_/

我需要的是确定spark版本-2.6.4.0-91。我们可以做到：

ls /etc/hadoop/ | grep [0-9]
2.6.4.0-91

但是这种方法不太好（因为可能有其他带有数字的文件夹名，等等）
由 spark-submit --version 我们有

version 2.2.0.2.6.4.0-91

而我们只需要版本-2.6.4.0-91（没有2.2.0）
任何IDE如何获得版本-没有（2.2.0）从 spark-submit --version ?

hadoop apache-spark hortonworks-data-platform

来源：https://stackoverflow.com/questions/48365558/get-hdp-version-through-spark

1条答案

按热度按时间

ffscu2ro1#

因为hadoop安装在linux机器上，
作为：

rpm -qa |grep hadoop | grep client
hadoop_2_6_4_0_91-client-2.7.3.2.6.4.0-91.x86_64

然后我可以使用hdp select命令来获得所需的hdp版本

hdp-select |  grep hadoop-client | awk '{print $3}'
 2.6.4.0-91

或：

hdp-select | grep hadoop-client
hadoop-client - 2.6.4.0-91

赞(0）回复(0）举报 2021-05-29

我来回答

通过spark获取hdp版本

1条答案

相关问题

热门标签

最新问答