apache pig在aws emr hadoop集群中没有输出

lmvvr0a8  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(407)

我是aws hadoop集群的新手。
我用pig0.14.0通过emr部署了一个hadoop集群。
我调用了一个udf,它有一些输出到标准输出( System.out.println() ).
但是,在管道成功完成之后,我的udf没有输出。
我也试过了 stderr 以及 file stream .
但仍然没有产出。
有没有人遇到过同样的问题?
怎么处理?

axzmvihb

axzmvihb1#

udf在集群的各个节点上运行,udf system.out调用将出现在节点的stdout日志中。它们不会打印到你的Pig日志。
您可以从资源管理器访问这些日志,您可以通过aws emr控制台最容易找到这些日志。您可以在那里找到如何启用访问的说明。

相关问题