我们正在hadoop cloudera集群上下载一个旧版本的anaconda，并希望将其升级到最新的verison版本。在旧版本中，默认情况下，我们找不到tensorflow、geopandas、noaa\u sdk、thrift\u sasl、gensim和其他一些数据科学用例所需的包。我们已经在集群中手动安装了它们。我的问题是，如果我升级anaconda，是否可以使用手动安装的软件包？还是必须重新安装？
km0tfn4u1#
我假设您使用cloudera包在hadoop节点上安装了anaconda？https://www.cloudera.com/downloads/partner/anaconda.html如果是，那么您是正确的，您必须重新安装安装在hadoop节点上的所有内容。cloudera认为包裹是“不变的”——它们的状态不应该改变。所以，当你在包裹上安装东西，或以任何方式更改它们时，你可能会丢失更改(e、 g.包裹重新部署，因为它会再次解压包裹）同样适用于升级-新的anaconda版本只附带了一个新的tar文件（包裹基本上就是这样，带有一些元数据信息）。如果您对管理python环境感兴趣，请看 conda 虚拟环境-https://conda.io/docs/user-guide/overview.html，或 conda-pack 特别是作为Yarn上Spark的例子-https://conda.github.io/conda-pack/spark.html我们目前正在将所有spark工作迁移到 conda 环境，而不是依靠水蟒包裹。另外，我注意到你在用 python-2.7 此主题的标记。请注意，免费的anacondacloudera包裹（从anaconda5版本开始）不再提供 Python2 . 它会来的 Python3 在那里。当心！这种变化使我们措手不及。这也是迁移到美国的另一个原因 conda 我们可以在 Python2 以及 Python3 现在可以很容易地通过项目。
conda
conda-pack
python-2.7
Python2
Python3
1条答案
按热度按时间km0tfn4u1#
我假设您使用cloudera包在hadoop节点上安装了anaconda？
https://www.cloudera.com/downloads/partner/anaconda.html
如果是，那么您是正确的，您必须重新安装安装在hadoop节点上的所有内容。
cloudera认为包裹是“不变的”——它们的状态不应该改变。所以，当你在包裹上安装东西，或以任何方式更改它们时，你可能会丢失更改(e、 g.包裹重新部署，因为它会再次解压包裹）同样适用于升级-新的anaconda版本只附带了一个新的tar文件（包裹基本上就是这样，带有一些元数据信息）。
如果您对管理python环境感兴趣，请看
conda虚拟环境-https://conda.io/docs/user-guide/overview.html，或
conda-pack特别是作为Yarn上Spark的例子-https://conda.github.io/conda-pack/spark.html我们目前正在将所有spark工作迁移到
conda环境，而不是依靠水蟒包裹。另外，我注意到你在用
python-2.7此主题的标记。请注意，免费的anacondacloudera包裹（从anaconda5版本开始）不再提供Python2. 它会来的Python3在那里。当心！这种变化使我们措手不及。这也是迁移到美国的另一个原因conda我们可以在Python2以及Python3现在可以很容易地通过项目。