使用mongodb存储的hadoop

mzsu5hc0  于 2021-06-01  发布在  Hadoop
关注(0)|答案(1)|浏览(719)

我有一个项目使用nosqldb和hadoop,并对其进行基准测试。我选择mongodb作为数据库,但我对某些事情感到困惑,有一些问题需要澄清:
mongodb将取代HDF还是它们将一起工作?如何?
单靠mongodb做基准测试和用hadoop做基准测试有什么不同吗?因为我觉得他们是一回事。
我找到了ycsb的基准测试工具。它能把它们结合起来吗?
我知道mongodb可以在集群上工作,当monogo在hadoop之上时,数据是由mongodb还是hadoop在节点间共享?
我希望你澄清这些概念,并提前感谢你。

dojqjjoe

dojqjjoe1#

mongodb会取代hdfs吗
绝对不是。hdfs并不打算用作数据库,mongo也不是一个能够存储数PB数据的分布式文件系统
他们会合作吗?如何合作?
hive和spark可以直接从mongo读取数据。我确信还有其他工具可以将mongo备份到hdfs中。
单独对mongodb进行基准测试与用hadoop进行基准测试不同吗
是的,读和写的调优参数与hdfs有很大的不同,因为hdfs不是一个数据库
ycsb基准测试工具
不清楚您在hadoop中的基准测试是什么。写和读一堆文件(有或没有mapreduce)?看看在一个给定的时间里有多少工作在运行?hadoop也不是一个用来存储简单json blob的数据库。
当monogo在hadoop之上时,数据是由mongodb还是hadoop在节点间共享?
我从来没听说过这个,但也许标记是由mongo存储的,而原始数据是由hdfs服务的?

相关问题