jenkins 如何从Python Luigi登录

vsmadaxz  于 12个月前  发布在  Jenkins
关注(0)|答案(3)|浏览(102)

我试图建立一个策略,从Luigi日志,在这样一种方式,有一个可配置的输出列表,包括标准输出和自定义的文件列表。我希望能够在运行时设置日志记录级别。我们的系统使用Luigi从Jenkins调用Spark。先谢谢你了。

23c0lvtd

23c0lvtd1#

在任何Task类方法中,您可以执行以下操作:

class Agg(luigi.Task):
  _date = luigi.DateParameter()

  def output(self):
    return luigi.LocalTarget("file_%.txt" % self._date)

  def run(self):
    # Use the luigi-interface to log to console
    logger = logging.getLogger('luigi-interface')
    logger.info("Running --> Agg.Task")
0yycz8jy

0yycz8jy2#

是否检查了配置的logging_conf_file参数?你可以使用Python的标准日志机制在那里设置所有关于日志记录的配置。
有关某些示例,请参见:

f45qwnt8

f45qwnt83#

要在运行时设置luigi日志记录级别,请在下面的链接中查看我的答案。它可以用来排除日志中的luigi DEBUG消息,并包含luigi INFO和更高严重性的消息:https://stackoverflow.com/a/77289600/22736448

相关问题