我计划在基于web的应用程序中实现hadoop框架。但我只是把它放在本地主机上。我计划将mapreduce和hdfs实现为分布式文件系统。问题是，我要做的第一步是什么？我应该从什么开始？我对hadoop框架做了深入的研究。它是如何工作的，并尝试从互联网上的wordcount的例子。
sd2nnvve1#
hadoop是一个用于大规模数据处理的分布式框架。你说的“我计划将mapreduce和hdfs实现为分布式文件系统”是错误的。map-reduce是一种可用于分布式文件系统的编程模型。hdfs是hadoop分布式文件系统。hdfs和mapreduce一起在hadoop框架中建立。使用hadoop你可以离线处理数据，也就是批处理。因此，在web应用程序中它可能没有直接的用处。您可以做的是，将后端数据库作为web应用程序的hbase。hbase是运行在hadoop之上的数据仓库/数据库。如果你想开始，第一步就是建立一个机器集群。可以从5个节点开始。否则我会推荐云解决方案。去亚马逊电子病历。如果有用的话请告诉我！
1条答案
按热度按时间sd2nnvve1#
hadoop是一个用于大规模数据处理的分布式框架。你说的“我计划将mapreduce和hdfs实现为分布式文件系统”是错误的。
map-reduce是一种可用于分布式文件系统的编程模型。hdfs是hadoop分布式文件系统。hdfs和mapreduce一起在hadoop框架中建立。
使用hadoop你可以离线处理数据，也就是批处理。因此，在web应用程序中它可能没有直接的用处。您可以做的是，将后端数据库作为web应用程序的hbase。hbase是运行在hadoop之上的数据仓库/数据库。
如果你想开始，第一步就是建立一个机器集群。可以从5个节点开始。否则我会推荐云解决方案。去亚马逊电子病历。
如果有用的话请告诉我！