我有一个使用flume&kafka的摄取管道,使用csv文件,在flume拦截器中转换json中的事件,并在kafka中推送它。
当我在发送给kafka之前记录消息时,它是一个普通的、有效的json。但是,当使用来自kafka的同一条消息时,我在尝试序列化它时出错,说它不是有效的json。
事实上,在我的信息的开头,我有一些无法识别的字符:
例如。�
我认为它代表了flume在发布到kafka时试图对事件使用的空标题。但我似乎无法阻止这一切的发生。
有人知道如何从正在发送的flume事件中完全删除头文件,或者更准确地说,删除那些字符吗?
1条答案
按热度按时间xbp102n01#
看起来像是一个基本的字符编码问题,比如kafka在linux上运行,而producer在windows机器上运行。您可能需要三重检查所有计算机是否处理utf-8编码的消息。
这个帖子应该是你的朋友。