如何将存储在文件系统中的kafka日志转换为csv

tpgth1q7  于 2021-06-05  发布在  Kafka
关注(0)|答案(2)|浏览(504)

我的计算机上有一些由kafka生成的日志,它们当前以.log格式存储,如下所示:

我想把这些文件转换成csv记录,与消息和时间。我知道这个问题可能看起来太模糊或不清楚,对不起,但我真的在寻找一个起点来实现这一点;

bvjxkvbb

bvjxkvbb1#

您正在查找dumplogsegments命令。但是,这不会输出csv,因此您必须解析一些内容
https://cwiki.apache.org/confluence/display/kafka/system+tools#systemtools-转储日志段
转储日志段
这可以直接从日志文件打印消息,或者只验证日志的索引是否正确

bin/kafka-run-class.sh kafka.tools.DumpLogSegments

必需参数“[文件]”

Option Description
------ -----------
--deep-iteration if set, uses deep instead of shallow iteration
--files <file1, file2, ...> REQUIRED: The comma separated list of data and index log files to be dumped
--max-message-size <Integer: size> Size of largest message. (default: 5242880)
--print-data-log if set, printing the messages content when dumping data logs
--verify-index-only if set, just verify the index log without printing its content
plicqrtu

plicqrtu2#

那些文件是加密的。如果你只是为这些主题编写一个消费者并编写一个csv文件,难道不容易吗?

相关问题