我是新的数据工程,并拿起一个项目的个人成长。我知道kafka用于数据摄取,但是使用它从api摄取数据到awss3有意义吗?有没有其他方法可以做到这一点,或者在这种情况下使用Kafka可以带来什么样的情况?
lztngnrs1#
向s3接收流数据的最佳方法是kinesis data firehouse。kinesis是一种类似于kafka的技术,datafirehose是它的专用版本,用于将数据传送到s3(或其他目的地)。它相当便宜而且可配置,如果您只想将数据放到s3上,那么它比kafka麻烦得多。Kafka很棒,但它不会把数据从盒子里传递到s3。
1条答案
按热度按时间lztngnrs1#
向s3接收流数据的最佳方法是kinesis data firehouse。kinesis是一种类似于kafka的技术,datafirehose是它的专用版本,用于将数据传送到s3(或其他目的地)。它相当便宜而且可配置,如果您只想将数据放到s3上,那么它比kafka麻烦得多。Kafka很棒,但它不会把数据从盒子里传递到s3。