log4j 如何从databricks笔记本电脑捕获日志并将其存储到数据湖gen2

qkf9rpyu  于 2022-11-06  发布在  其他
关注(0)|答案(1)|浏览(138)

如何从Databricks笔记本代码捕获日志并将其存储到Azure数据湖第2代中的文件中?
我想为我的Scala语言代码实现自定义日志。

ogsagwnx

ogsagwnx1#

您可以使用Python azure-storage-logging库。
azure-storage-logging提供了将标准Python日志记录API的输出发送到Microsoft Azure存储的功能。

import logging
from azure_storage_logging.handlers import TableStorageHandler

# configure the handler and add it to the logger

logger = logging.getLogger('example')
handler = TableStorageHandler(account_name='mystorageaccountname',
                              account_key='mystorageaccountkey',
                              extra_properties=('%(hostname)s',
                                                '%(levelname)s'))
logger.addHandler(handler)

# output log messages

logger.info('info message')
logger.warning('warning message')
logger.error('error message')

参考:https://pypi.org/project/azure-storage-logging/

相关问题