将erp（或任何其他可能附带复杂技术数据模型的“标准软件”）作为源附加到kafka系统的最佳实践是什么？您是否建议使用源数据库中的视图隐藏这些技术细节？不确定视图是否可以“触发”用于oracle的jdbc源连接器内的复制。我可以想到的另一种方法是使用kafka的streamapi“连接”所有这些表。这样，源数据库系统就不用于执行“etl连接”。
dpiehjr41#
您可以先为您的erp软件创建一个kafka连接源连接器（假设还不存在）。在它里面，试着隐藏处理erp技术细节的复杂性。您还可以进行一些简单的无状态转换，将erp模型的细节抽象到您的域模型中。我的经验告诉我这是不够的，如果输出很复杂的话，它仍然会在某种程度上绑定到源模型。请记住以在您的域中有意义的方式对数据进行分区。下一步，一旦您在kafka中获得了数据并进行了很好的分区，就可以在kafka流中进行进一步的处理。它们具有容错（kafka v0.11甚至是事务性的）状态处理能力，并允许轻松地在主题之间进行连接。
1条答案
按热度按时间dpiehjr41#
您可以先为您的erp软件创建一个kafka连接源连接器（假设还不存在）。在它里面，试着隐藏处理erp技术细节的复杂性。您还可以进行一些简单的无状态转换，将erp模型的细节抽象到您的域模型中。我的经验告诉我这是不够的，如果输出很复杂的话，它仍然会在某种程度上绑定到源模型。请记住以在您的域中有意义的方式对数据进行分区。
下一步，一旦您在kafka中获得了数据并进行了很好的分区，就可以在kafka流中进行进一步的处理。它们具有容错（kafka v0.11甚至是事务性的）状态处理能力，并允许轻松地在主题之间进行连接。