关于hadoop架构,我有几个问题
在mapreduce中,我们可以动态地修改块大小和Map器的数量吗?如果可以,我们该怎么做?
如何在hdfs中创建块。例如,hadoop框架安装在say redhat linux机器上。linux文件系统的默认块大小是4k。hdfs块是4k块上的逻辑 Package 器还是如何创建块。它是并行的还是顺序的?因为例如一个文件只有32MB,因为块大小是64MB。剩余的32 mb是否可重用?
我想查看我刚刚复制到hdfs的特定文件的所有块的位置(数据节点)。有没有命令可以从一个地方执行?
如果我把视频文件移到hdfs,这个视频文件的块分配是如何进行的
1条答案
按热度按时间ohtdti5x1#
在mapreduce中,我们可以动态修改块大小和Map器的数量吗?
我假设您正在寻找hdfs文件系统。
hdfs是分布式存储系统,mapreduce是分布式处理框架。
可以使用hdfs-site.xml更改hdfs块大小
查看文档页面中的各种hdfs配置。
dfs.blocksize文件
134217728(默认值)
新文件的默认块大小(字节)。您可以使用以下后缀(不区分大小写):k(kilo)、m(mega)、g(giga)、t(tera)、p(peta)、e(exa)来指定大小(例如128k、512m、1g等),或者提供以字节为单位的完整大小(例如134217728表示128MB)。
联系问题:
如何在hadoop中设置数据块大小?改变它有好处吗?
如何在hdfs中创建块。例如,hadoop框架安装在say redhat linux机器上。linux文件系统的默认块大小是4k。hdfs块是4k块上的逻辑 Package 器还是如何创建块。它是并行的还是顺序的?因为例如一个文件只有32MB,因为块大小是64MB。剩余的32 mb是否可重用?
剩余的32 mb是可重用的。
请看一下hdfs块写入操作的se问题:
hadoop文件写入
我想查看我刚刚复制到hdfs的特定文件的所有块的位置(数据节点)。有没有命令可以从一个地方执行?
相关问题:
在hadoop中查看文件的块数
如果我把视频文件移到hdfs,这个视频文件的块分配是如何进行的?
块数=文件大小(mb)/dfs块大小(mb)
一旦确定了块的数量,这些块将按照hadoop文件写入问题中的说明进行写入。
还有几个好问题:
hadoop块大小vs分割vs块大小
hadoop如何决定有多少节点将执行map和reduce任务