我是hadoop/pig的新手。我有一个基本问题。我们在pig udf有伐木设施吗?我已经写了一个自定义项,我需要验证我需要记录某些语句来检查流。有伐木设备吗?如果是,清管器原木在哪里?
yqyhoc1h1#
也许很明显,但我建议在集群/伪集群上部署之前在本地模式下调试udf。这样,就可以在ide中调试它(在我的例子中是eclipse),这比日志调试更容易。
9nvpjoqh2#
假设您的自定义项扩展 EvalFunc ,您可以使用从 EvalFunc.getLogger() . 日志输出应该在pig执行的相关map/reduce任务中可见(如果作业在多个阶段中执行,则必须通过它们来查找相关的日志条目)。
EvalFunc
EvalFunc.getLogger()
2条答案
按热度按时间yqyhoc1h1#
也许很明显,但我建议在集群/伪集群上部署之前在本地模式下调试udf。这样,就可以在ide中调试它(在我的例子中是eclipse),这比日志调试更容易。
9nvpjoqh2#
假设您的自定义项扩展
EvalFunc
,您可以使用从EvalFunc.getLogger()
. 日志输出应该在pig执行的相关map/reduce任务中可见(如果作业在多个阶段中执行,则必须通过它们来查找相关的日志条目)。