我有一个现有的avrorpc客户端,它将数据发送到avrorpc服务器。avrorpc服务器当前将数据写入hdfs(并执行其他操作)。我们正在改变我们的服务器进程是基于风暴。我希望找到一个简单的方法将我的数据导入storm,希望使用我现在拥有的AVRORPC消息。
我一直在寻找一种方法来做这件事,到目前为止没有成功。storm有一个rpc模型,但它似乎仅限于传递字符串,这是我想要避免的(为什么我首先去avro)。zeromq可能是一种可能性,但对于我正在尝试的工作来说似乎是有限的。
有人能给我推荐一个优雅的方法让我的avro-rpc(基于模式的数据)进入storm吗??
谢谢!!!!
1条答案
按热度按时间n6lpvg4x1#
所以。。。还没有找到一个直接的方法。。。但是我们提出的解决方案是一个storm回调过程,它会向AVRORPC请求数据。所以,基本上我们切换了客户机/服务器关系。看来效果不错。