为什么不用像secor这样的东西呢？它还可以保证一次交货。
您还可以考虑基于“kafka connect”的实现，比如streamx。

好的，您不能附加到s3对象（文件）：https://news.ycombinator.com/item?id=10746969 -除非最近有什么变化。。。。
您也不希望继续将每个事件单独写入s3，而是分批执行—这显然是出于性能原因。
因此，我们这样做的方法是——使用cassandra作为中间存储来收集某个时间段的事件（时间片）——按事件时间而不是处理时间分组存储它们——然后周期性地将这些时间片写入s3。一个时间片将存储到一个s3对象中，时间片信息是文件名的一部分。
如果/当过去的某个时间片出现更多事件时-它被添加到cassandra中的该时间片表中，并[最终]触发对s3的重新写入-这将再次获取该时间片的所有事件并以相同的文件名写入s3，有效地覆盖现有文件（如果有的话）。
您必须根据管道的工作方式和传入事件的“旧”程度来决定在cassandra中保留数据的时间。
这就是我们实现幂等性的方法。这可能不是最有效的方法，但对我们来说效果很好，因为我们有非常高的事件处理量和速率，而且cassandra非常适合快速写入。
我很想听别人如何解决类似的问题！

从描述上看，您要查找的似乎是1）avro数据写入s3
2） s3中要分区的数据
3） 写的时候正好支持一次。
qubole streamx支持多种格式转换，avro就是其中之一，还支持数据分区。而且，正好有一次是在我们的管道，这将很快出来。
然而，secor正在遭到抨击（在googlegroup上的一个回复中提到），它也不支持avro。
因此，您可以使用qubole streamx开始。