验证storm拓扑中的数据

fdbelqdn  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(178)

我们在google云中有一个hadoop集群,我们期望每天有2tb的数据。架构包括storm->hdfs->hive。
现在我没有那么多关于storm的信息,所以请任何人告诉我,如果我在storm中接收json数据,是否有任何方法可以验证数据以确保从源发送的数据和在storm拓扑中接收的数据是正确的,或者我只能在hdfs中可用时测试数据。
正如我所研究的,我只能在storm中找到螺栓的单元测试。这是测试数据的唯一方法。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题