hadoop性能模型（http://arxiv.org/pdf/1106.0940.pdf)在这份技术报告中，他们使用白盒模型来计算各种成本。但我对他们的工作有以下怀疑——它们是否仍然适用于当前的hadoop？我不太清楚他们是如何做的一些公式，如cpu成本在泄漏阶段（第6页的报告）。
8yoxcaq71#
海星mapreduce调整系统基于参考报告中提出的性能模型。在顶级数据库/数据管理会议上发表的几篇论文中介绍了海星和后续工作：希罗多德希罗多德，希夫纳特巴布：一个假设引擎的成本为基础的mapreduce优化。ieee数据工程。36(1): 5-14 (2013)希罗多德希罗多德，shivnath babu：mapreduce程序的分析、假设分析和基于成本的优化。pvldb 4（11）：1111-1122（2011）herodotos herodotou，fei dong，shivnath babu:mapreduce编程和基于成本的优化？和海星一起穿越这道鸿沟。pvldb 4（12）：1446-1449（2011）herodotos herodotou，harold lim，gang luo，Nedyako borisov，liang dong，fatma bilgen cetin，shivnath babu:海星：用于大数据分析的自调整系统。cidr 2011:261-272harold lim，herodotos herodotou，shivnath babu:一个基于转换的mapreduce工作流优化器。更正abs/1208.0082（2012）我在github上发现了一个存储库，看起来它包含了starfish代码。文件和代码应该包含更多的细节。关于这些模型是否仍然适用于当前hadoop的问题，我假设它们仍然有效。也许海星的作者能帮上忙。
1条答案
按热度按时间8yoxcaq71#
海星mapreduce调整系统基于参考报告中提出的性能模型。在顶级数据库/数据管理会议上发表的几篇论文中介绍了海星和后续工作：
希罗多德希罗多德，希夫纳特巴布：一个假设引擎的成本为基础的mapreduce优化。ieee数据工程。36(1): 5-14 (2013)
希罗多德希罗多德，shivnath babu：mapreduce程序的分析、假设分析和基于成本的优化。pvldb 4（11）：1111-1122（2011）
herodotos herodotou，fei dong，shivnath babu:mapreduce编程和基于成本的优化？和海星一起穿越这道鸿沟。pvldb 4（12）：1446-1449（2011）
herodotos herodotou，harold lim，gang luo，Nedyako borisov，liang dong，fatma bilgen cetin，shivnath babu:海星：用于大数据分析的自调整系统。cidr 2011:261-272
harold lim，herodotos herodotou，shivnath babu:一个基于转换的mapreduce工作流优化器。更正abs/1208.0082（2012）
我在github上发现了一个存储库，看起来它包含了starfish代码。
文件和代码应该包含更多的细节。关于这些模型是否仍然适用于当前hadoop的问题，我假设它们仍然有效。也许海星的作者能帮上忙。