如何将存储在文件系统中的kafka日志转换为csv

tpgth1q7 于 2021-06-05 发布在 Kafka

关注(0)|答案(2)|浏览(503)

我的计算机上有一些由kafka生成的日志，它们当前以.log格式存储，如下所示：

我想把这些文件转换成csv记录，与消息和时间。我知道这个问题可能看起来太模糊或不清楚，对不起，但我真的在寻找一个起点来实现这一点；

apache-kafka

来源：https://stackoverflow.com/questions/60173409/how-to-transform-kafka-logs-stored-on-file-system-into-csv

2条答案

按热度按时间

bvjxkvbb1#

您正在查找dumplogsegments命令。但是，这不会输出csv，因此您必须解析一些内容
https://cwiki.apache.org/confluence/display/kafka/system+tools#systemtools-转储日志段
转储日志段
这可以直接从日志文件打印消息，或者只验证日志的索引是否正确

bin/kafka-run-class.sh kafka.tools.DumpLogSegments

必需参数“[文件]”

Option Description
------ -----------
--deep-iteration if set, uses deep instead of shallow iteration
--files <file1, file2, ...> REQUIRED: The comma separated list of data and index log files to be dumped
--max-message-size <Integer: size> Size of largest message. (default: 5242880)
--print-data-log if set, printing the messages content when dumping data logs
--verify-index-only if set, just verify the index log without printing its content

赞(0）回复(0）举报 2021-06-06

plicqrtu2#

那些文件是加密的。如果你只是为这些主题编写一个消费者并编写一个csv文件，难道不容易吗？

赞(0）回复(0）举报 2021-06-06