我正在看一本关于Apache·Kafka的教程。该公司表示,netflix在36个集群中拥有4000个代理,每天处理超过7000亿条消息。当我们在netflix的背景下交谈时,这些信息能指什么?
ui7jx7zq1#
Kafka为记录流提供的核心抽象称为topic。您可以将主题想象为数据库中的表。一个数据库(kafka)可以有多个表(主题)。像在数据库中一样,一个主题可以有任何类型的记录,这取决于用例。特别是对于netflix,我们可能会有一个主题 users 包含平台用户的:
users
{"userId":"1", "firstName":"Giorgos", "lastName":"Myrianthous"}
或者一个主题 movies 包含电影的详细信息:
movies
{"movieID":"1", "title":"Titanic", "genre":"drama", "rating":"5"}
其他主题还可能包括为内部分析/商业智能工具、机器学习算法(如推荐引擎)或警报机制提供服务的数据。主题中的数据可以用各种类型表示,如string、json或avro。
1条答案
按热度按时间ui7jx7zq1#
Kafka为记录流提供的核心抽象称为topic。您可以将主题想象为数据库中的表。一个数据库(kafka)可以有多个表(主题)。像在数据库中一样,一个主题可以有任何类型的记录,这取决于用例。
特别是对于netflix,我们可能会有一个主题
users
包含平台用户的:或者一个主题
movies
包含电影的详细信息:其他主题还可能包括为内部分析/商业智能工具、机器学习算法(如推荐引擎)或警报机制提供服务的数据。
主题中的数据可以用各种类型表示,如string、json或avro。