hadoop分布式系统节点上的python包问题

eqoofvh9  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(246)

我用python做hadoop流媒体。我们使用一个aws-hadoop流媒体分布式系统,它有一个主节点和四个从节点。如果我需要在python上安装一个包,那么我需要在系统的每个节点上安装该包,以使其正常工作。但是在我的例子中,即使我在系统的每个节点上安装了python包,python-hadoop流作业仍然不能工作。我想知道为什么。谢谢您!
更多详细信息:
我使用python-hadoop流来做mapreduce工作。我使用的hadoop系统是一个aws-hadoop分布式系统,它有一个主节点和四个从节点。有时,我需要在python上安装软件包。它是一个分布式系统,从理论上讲,如果我需要在python上安装一个包,我需要在分布式系统的每个节点上安装python上的包,以使流式处理工作正常工作。但问题是,即使我在hadoop分布式系统的每个节点上安装了所需的python包,hadoop流作业仍然失败。但是在我删除hadoop streaming python脚本中的“import some package”行,并相应地更改代码之后,hadoop streaming python作业就可以工作了。所以问题出在新添加的python包上。我只是很困惑,为什么即使我在hadoop分布式系统的每个节点的python上安装了python包,我也不能让python流作业工作呢。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题