当然，mapreduce将在map/reduce阶段使用本地资源。 Map的输出将存储在本地文件系统中，然后进行填充和排序。 接下来，数据将被输入到reduce阶段。 在hadoopv1中，您可以指定本地路径的路径来存储map by属性的中间结果 mapred.local.dir hadoop v2， 从文件上看， 属性： mapreduce.cluster.local.dir 价值： ${hadoop.tmp.dir}/mapred/local 说明： The local directory where MapReduce stores intermediate data files. May be a comma-separated list of directories on different devices in order to spread disk i/o. Directories that do not exist are ignored. 希望有帮助！
2条答案
按热度按时间41zrol4v1#
当然，mapreduce将在map/reduce阶段使用本地资源。
Map的输出将存储在本地文件系统中，然后进行填充和排序。
接下来，数据将被输入到reduce阶段。
在hadoopv1中，您可以指定本地路径的路径来存储map by属性的中间结果
mapred.local.dirhadoop v2，从文件上看，
属性：
mapreduce.cluster.local.dir价值：${hadoop.tmp.dir}/mapred/local说明：The local directory where MapReduce stores intermediate data files. May be a comma-separated list of directories on different devices in order to spread disk i/o. Directories that do not exist are ignored.希望有帮助！l0oc07j22#
安全（kerberized）集群将在提交作业的用户下运行容器。普通的访问控制可以隔离这个用户对本地资源的访问。
非安全集群将容器作为nm运行（我说的是现代的Yarn集群，而不是1.x版本）。
最新的hadoop版本（2.6，即将发布）包含yarn-1964，它允许基于docker的容器。他们是完全孤立的（docker），但这是在2014年11月12日2.6承诺，所以是大约2周的成熟。你将生活在边缘。