hadoop性能模型(http://arxiv.org/pdf/1106.0940.pdf)在这份技术报告中,他们使用白盒模型来计算各种成本。但我对他们的工作有以下怀疑——它们是否仍然适用于当前的hadoop?我不太清楚他们是如何做的一些公式,如cpu成本在泄漏阶段(第6页的报告)。
8yoxcaq71#
海星mapreduce调整系统基于参考报告中提出的性能模型。在顶级数据库/数据管理会议上发表的几篇论文中介绍了海星和后续工作:希罗多德希罗多德,希夫纳特巴布:一个假设引擎的成本为基础的mapreduce优化。ieee数据工程。36(1): 5-14 (2013)希罗多德希罗多德,shivnath babu:mapreduce程序的分析、假设分析和基于成本的优化。pvldb 4(11):1111-1122(2011)herodotos herodotou,fei dong,shivnath babu:mapreduce编程和基于成本的优化?和海星一起穿越这道鸿沟。pvldb 4(12):1446-1449(2011)herodotos herodotou,harold lim,gang luo,Nedyako borisov,liang dong,fatma bilgen cetin,shivnath babu:海星:用于大数据分析的自调整系统。cidr 2011:261-272harold lim,herodotos herodotou,shivnath babu:一个基于转换的mapreduce工作流优化器。更正abs/1208.0082(2012)我在github上发现了一个存储库,看起来它包含了starfish代码。文件和代码应该包含更多的细节。关于这些模型是否仍然适用于当前hadoop的问题,我假设它们仍然有效。也许海星的作者能帮上忙。
1条答案
按热度按时间8yoxcaq71#
海星mapreduce调整系统基于参考报告中提出的性能模型。在顶级数据库/数据管理会议上发表的几篇论文中介绍了海星和后续工作:
希罗多德希罗多德,希夫纳特巴布:一个假设引擎的成本为基础的mapreduce优化。ieee数据工程。36(1): 5-14 (2013)
希罗多德希罗多德,shivnath babu:mapreduce程序的分析、假设分析和基于成本的优化。pvldb 4(11):1111-1122(2011)
herodotos herodotou,fei dong,shivnath babu:mapreduce编程和基于成本的优化?和海星一起穿越这道鸿沟。pvldb 4(12):1446-1449(2011)
herodotos herodotou,harold lim,gang luo,Nedyako borisov,liang dong,fatma bilgen cetin,shivnath babu:海星:用于大数据分析的自调整系统。cidr 2011:261-272
harold lim,herodotos herodotou,shivnath babu:一个基于转换的mapreduce工作流优化器。更正abs/1208.0082(2012)
我在github上发现了一个存储库,看起来它包含了starfish代码。
文件和代码应该包含更多的细节。关于这些模型是否仍然适用于当前hadoop的问题,我假设它们仍然有效。也许海星的作者能帮上忙。