最近我们尝试了几次使用Flume。主要是将数据从前端服务器流到后端服务器进行处理。它是通过编写本地“日志”文件并让flume跟踪它们来完成的。问题是在重新启动flume节点时，目录中的所有文件都被重新发送。有没有办法有效地管理这个问题？flume能给出一些它处理完文件的事件吗？它有内置的检查点吗？如果不是的话，做这种事的方法是什么？
c3frrgcw1#
每次重新启动flume节点时，tailsource将从它跟踪的文件的开头开始。flume还没有完全解决这个问题。你将不得不实现一种自我管理的状态。只要给你一个快速的想法，你可以运行另一个线程基本上听字节尾随源一直尾随对文件和持久化的字节你读到的地方。如果flume代理崩溃或重新启动，您只需从持久化它的位置（例如tmp文件夹中的文件）读取您读取的字节。但是您需要以某种方式 Package tailsource构造函数。当您等待Flume本身的修复时，它以一种令人讨厌的方式解决了问题：(
1条答案
按热度按时间c3frrgcw1#
每次重新启动flume节点时，tailsource将从它跟踪的文件的开头开始。flume还没有完全解决这个问题。你将不得不实现一种自我管理的状态。
只要给你一个快速的想法，你可以运行另一个线程基本上听字节尾随源一直尾随对文件和持久化的字节你读到的地方。如果flume代理崩溃或重新启动，您只需从持久化它的位置（例如tmp文件夹中的文件）读取您读取的字节。但是您需要以某种方式 Package tailsource构造函数。当您等待Flume本身的修复时，它以一种令人讨厌的方式解决了问题：(