这是我在这个论坛上的第一个问题。我将在每个步骤完成后立即将配置单元批处理作业日志写入配置单元日志表。我正在使用 INSERT INTO TABLE 用于将日志写入配置单元表。在hive中，为每个批处理作业id创建了多个记录，因此我正在创建一个视图来组合在监视工具中使用之前收集的日志数据。你能提出更好的解决方案吗？
笔记：
我的批处理作业有多个步骤，我喜欢从每个步骤收集日志
我不想使用更新
我无法上传图片。 Batch Job -> Logs -> Hive -> Monitoring
这是我在这个论坛上的第一个问题。我将在每个步骤完成后立即将配置单元批处理作业日志写入配置单元日志表。我正在使用 INSERT INTO TABLE 用于将日志写入配置单元表。在hive中，为每个批处理作业id创建了多个记录，因此我正在创建一个视图来组合在监视工具中使用之前收集的日志数据。你能提出更好的解决方案吗？
笔记：
我的批处理作业有多个步骤，我喜欢从每个步骤收集日志
我不想使用更新
我无法上传图片。 Batch Job -> Logs -> Hive -> Monitoring
1条答案
按热度按时间wgxvkvu91#
下面是我可以建议的参考体系结构之一。您仍然可以使用配置单元进行日志记录，但是
SERDEPROPERTIES与…结合HBase.好处：
数据将存储在hbase中，这将允许决定用于数据覆盖的密钥（例如：批处理作业id）
hbase将维护这些版本
您可以按照通常访问配置单元表的方式查询配置单元
使用hbase数据的实时 Jmeter 板
高级图表：