java—选择什么技术?spring批处理还是hadoop?

jxct1oxe  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(399)

就目前的情况来看,这个问题并不适合我们的问答形式。我们希望答案能得到事实、参考资料或专业知识的支持,但这个问题可能会引发辩论、争论、投票或广泛讨论。如果您觉得这个问题可以改进,并可能重新打开,请访问帮助中心寻求指导。
8年前关门了。
我需要每天处理300 gb的日志文件(导入->转换为其他格式->上传)。
选择哪种技术最好?spring批处理还是apachehadoop?我对这些技术非常陌生,无法追溯其局限性。此外,文件的大小可能会一天比一天增长。除此之外,我还需要使用给定的硬件设计应用程序3个sun blade服务器和灾难恢复方法。请建议。

jjhzyzn0

jjhzyzn01#

如果仅仅是文件格式转换,那么使用hadoop是没有意义的,除非您可以将文件分解为可以以令人尴尬的并行方式分发的chunks。
此外,如果您不需要进一步存储/索引/处理这些信息,则无需将其存储在某个位置。
最后但并非最不重要的一点是,请评估将文件分解为单元的成本,作为总体计算成本的一部分。

相关问题