我试图建立一个策略,从Luigi日志,在这样一种方式,有一个可配置的输出列表,包括标准输出和自定义的文件列表。我希望能够在运行时设置日志记录级别。我们的系统使用Luigi从Jenkins调用Spark。先谢谢你了。
23c0lvtd1#
在任何Task类方法中,您可以执行以下操作:
class Agg(luigi.Task): _date = luigi.DateParameter() def output(self): return luigi.LocalTarget("file_%.txt" % self._date) def run(self): # Use the luigi-interface to log to console logger = logging.getLogger('luigi-interface') logger.info("Running --> Agg.Task")
0yycz8jy2#
是否检查了配置的logging_conf_file参数?你可以使用Python的标准日志机制在那里设置所有关于日志记录的配置。有关某些示例,请参见:
f45qwnt83#
要在运行时设置luigi日志记录级别,请在下面的链接中查看我的答案。它可以用来排除日志中的luigi DEBUG消息,并包含luigi INFO和更高严重性的消息:https://stackoverflow.com/a/77289600/22736448
3条答案
按热度按时间23c0lvtd1#
在任何Task类方法中,您可以执行以下操作:
0yycz8jy2#
是否检查了配置的logging_conf_file参数?你可以使用Python的标准日志机制在那里设置所有关于日志记录的配置。
有关某些示例,请参见:
f45qwnt83#
要在运行时设置luigi日志记录级别,请在下面的链接中查看我的答案。它可以用来排除日志中的luigi DEBUG消息,并包含luigi INFO和更高严重性的消息:https://stackoverflow.com/a/77289600/22736448