pydoop作业未运行

zynd9foi  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(373)

我已设置了单节点hadoop 1.2.1群集并尝试运行以下脚本:

pydoop script transpose.py matrix.txt t_matrix

脚本不返回任何内容,作业处于挂起状态。
问题是,运行脚本后,作业处于挂起状态超过10分钟。为什么作业运行不正常?
这是运行时生成的输出:

Traceback (most recent call last): File "/home/hduser/hadoop/tmp/mapred/local   
/taskTracker/distcache/-2030848362897089950_-2130723868_1886929692/localhost 
/user/hduser /pydoop_script_91c491cf7e6b42f6bcbeda09edae9385  
/exe90d967507f86405a9606c35582b2fc43", line 10, in import pydoop.pipes File"/usr/local 
/lib/python2.7/dist-packages/pydoop/pipes.py", line 29, in pp =    
pydoop.import_version_specific_module('_pipes') File "/usr/local/lib/python2.7/dist-  
packages/pydoop/__init__.py", line 107, in import_version_specific_module return  
import_module(complete_mod_name(name)) File "/usr/lib/python2.7/importli/__init__.py",  
line 37, in import_module __import__(name) ImportError: /usr/local/lib/python2.7/dist- 
packages/pydoop/_pipes_1_2_1.so: undefined symbol: BIO_s_mem
qxgroojn

qxgroojn1#

您缺少一个必需的ssl库。
您需要在您的环境中找到并链接“libssl.so.1.0.0”。
在运行pydoop脚本之前,请尝试执行以下操作:

export LD_PRELOAD=PATH_TO/libssl.so.1.0.0

例如:

export LD_PRELOAD=/lib/x86_64-linux-gnu/libssl.so.1.0.0

相关问题