我正在poc上工作，以实现实时分析，其中我们有以下组件。
confluent kafka：以avro格式从第三方服务获取事件（事件包含多达40个字段）。我们还使用kafka注册表来处理不同类型的事件格式。
我正在尝试使用memsql进行分析，为此我必须以特定的格式将事件推送到memsql表中。
我浏览过memsql网站、博客等，但大多数都建议使用spark memsql connector，您可以在其中转换我们从合流kafka获得的数据。
我有几个问题。
如果我使用简单的java/go应用程序代替spark。
Kafka和memsql合流是否提供了任何实用程序
谢谢。
1条答案
按热度按时间c2e8gylq1#
我建议使用memsql管道。https://docs.memsql.com/memsql-pipelines/v6.0/kafka-pipeline-quickstart/ 在当前版本的memsql中，您需要设置一个转换，它是一个小型golang或python脚本，用于读取avro并输出tsv。关于如何做到这一点的说明在这里https://docs.memsql.com/memsql-pipelines/v6.0/transforms/，但tldr是，你需要一个脚本
while True: record_size = read_an_8_byte_int_from_stdin() avro_record = stdin.read(record_size) stdout.write(AvroToTSV(avro_record))请继续关注memsql中的本机avro支持。