hadoop大数据测试方法

ma8fv8wu  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(353)

我在做大数据项目。
项目基本流程如下:
-数据来自大型机并存储到基石3.0中
-之后,使用调度程序在配置单元中接收数据
-然后使用map reduce job(运行配置单元查询以获得特定的聚合属性)将其存储到mapr db中,并使用restapi将其反映到应用程序中。
我想从hive到restapi测试这个应用程序,假设hive中的数据加载正确。
测试此应用程序的最佳方法是什么(要测试的目标:配置单元数据、配置单元查询、mapr db性能、mapr dp数据、restapi)。要使用的最佳工具和技术是什么。
先谢谢你。

5m1hhzi4

5m1hhzi41#

可以测试什么?-这可以通过需求/问题本身来解释
数据来自大型机并存储到cornerstone 3.0中—验证数据按预期(基于需求)从大型机存储到cornerstone
之后,使用调度程序在配置单元中接收数据-验证配置单元表是否具有预期的数据/hdfs文件位置等(根据要求-如果在配置单元表加载过程中发生任何转换-您将对此进行验证)
然后使用map reduce job(运行配置单元查询以获得特定的聚合属性)将其存储到mapr db中,以键值对的形式反映到使用restapi的应用程序中-这里基本上是测试在maprdb中加载/转换数据的map reduce job。您应该先运行job->verify job端到端运行,没有错误/警告(注意执行时间以了解作业的性能)->validate maprdb->thne test rest api app并根据需求验证预期结果。
最好的工具和技术是什么?
对于hive/hdfs/数据验证-我将创建shell脚本(包括hive、hdfs文件位置、日志文件验证、运行mapreduce作业、验证mapreduce作业等),以测试/验证上面描述的每个步骤。首先应该使用手动cli命令开始测试。
对于测试RESTAPI,有许多可用的工具,例如readyapi、postman。我也会在shell脚本中包含这个步骤(使用 curl )

相关问题