我已设置了单节点hadoop 1.2.1群集并尝试运行以下脚本:
pydoop script transpose.py matrix.txt t_matrix
脚本不返回任何内容,作业处于挂起状态。
问题是,运行脚本后,作业处于挂起状态超过10分钟。为什么作业运行不正常?
这是运行时生成的输出:
Traceback (most recent call last): File "/home/hduser/hadoop/tmp/mapred/local
/taskTracker/distcache/-2030848362897089950_-2130723868_1886929692/localhost
/user/hduser /pydoop_script_91c491cf7e6b42f6bcbeda09edae9385
/exe90d967507f86405a9606c35582b2fc43", line 10, in import pydoop.pipes File"/usr/local
/lib/python2.7/dist-packages/pydoop/pipes.py", line 29, in pp =
pydoop.import_version_specific_module('_pipes') File "/usr/local/lib/python2.7/dist-
packages/pydoop/__init__.py", line 107, in import_version_specific_module return
import_module(complete_mod_name(name)) File "/usr/lib/python2.7/importli/__init__.py",
line 37, in import_module __import__(name) ImportError: /usr/local/lib/python2.7/dist-
packages/pydoop/_pipes_1_2_1.so: undefined symbol: BIO_s_mem
1条答案
按热度按时间qxgroojn1#
您缺少一个必需的ssl库。
您需要在您的环境中找到并链接“libssl.so.1.0.0”。
在运行pydoop脚本之前,请尝试执行以下操作:
例如: