我们在google云中有一个hadoop集群,我们期望每天有2tb的数据。架构包括storm->hdfs->hive。
现在我没有那么多关于storm的信息,所以请任何人告诉我,如果我在storm中接收json数据,是否有任何方法可以验证数据以确保从源发送的数据和在storm拓扑中接收的数据是正确的,或者我只能在hdfs中可用时测试数据。
正如我所研究的,我只能在storm中找到螺栓的单元测试。这是测试数据的唯一方法。
我们在google云中有一个hadoop集群,我们期望每天有2tb的数据。架构包括storm->hdfs->hive。
现在我没有那么多关于storm的信息,所以请任何人告诉我,如果我在storm中接收json数据,是否有任何方法可以验证数据以确保从源发送的数据和在storm拓扑中接收的数据是正确的,或者我只能在hdfs中可用时测试数据。
正如我所研究的,我只能在storm中找到螺栓的单元测试。这是测试数据的唯一方法。
暂无答案!
目前还没有任何答案,快来回答吧!