如何记录Kafka流?

biswetbf  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(351)

如何绘制topci/流关系图?这有标准吗?
我可以使用流的拓扑结构并使用这样的查看器:https://zz85.github.io/kafka-streams-viz/. 但我觉得这个水平太低了。
我想要一个更抽象的图表来表示主题和它们之间的“业务”操作。不需要对Kafka有适当的了解就可以理解的东西。

e3bfsja2

e3bfsja21#

kafka streams visualizer只是通过从拓扑描述创建一个图像来工作( Topology#describe() ).
我想要一个更抽象的图表来表示主题和它们之间的“业务”操作。不需要对Kafka有适当的了解就可以理解的东西。
我希望你能避免 KSTREAM-SOURCE , KSTREAM-TRANSFORM 从你的图表中。

Topology
Sub-topologies:
Sub-topology: 0
    Source:  KSTREAM-SOURCE-0000000000 (topics: [conversation-meta])
    --> KSTREAM-TRANSFORM-0000000001
    Processor: KSTREAM-TRANSFORM-0000000001 (stores: [conversation-meta-state])
    --> KSTREAM-KEY-SELECT-0000000002
    <-- KSTREAM-SOURCE-0000000000
    Processor: KSTREAM-KEY-SELECT-0000000002 (stores: [])
    --> KSTREAM-FILTER-0000000005
    <-- KSTREAM-TRANSFORM-0000000001
    ...
    omitted for the sake of brevity

你可以简单地 Replace All 这个 KSTREAM- 有合适的名字。例如,

Topology
Sub-topologies:
Sub-topology: 0
    Source:  Conversations (topics: [conversation-meta])
    --> TransformConversation
    Processor: TransformConversation (stores: [conversation-meta-state])
    --> KSTREAM-KEY-SELECT-0000000002
    <-- KSTREAM-SOURCE-0000000000
    Processor: KSTREAM-KEY-SELECT-0000000002 (stores: [])
    --> KSTREAM-FILTER-0000000005
    <-- TransformConversation

在这里 KSTREAM-TRANSFORM-0000000001 已更改为 TransformConversation 以及 KSTREAM-SOURCE-0000000000 已更改为 Conversations 如果您在kafka streams应用程序中使用处理器api,并构建拓扑并执行 describe() 拓扑结构将附带适当的处理器名称,因为在处理器api中,您可以为处理器命名。

相关问题