HDFS或HBase中是否有最大存储空间配置？
我找到了
文件系统数据目录：“ DataNode的本地文件系统上以逗号分隔的路径列表，DataNode应在其中存储其块 *”和
*dfs.数据阳极.du.保留：但用于为HDFS保留的非DFS空间
在Hadoop文档中
对于HBase，我发现了一些堆大小配置和压缩间隔，Memstore Flush Size，但这些似乎都没有规定单个节点的最大大小。
HBase或HDFS是否有任何配置可控制它们在单个节点中占用多少空间？
（我正在一台计算机上运行测试）
1条答案
按热度按时间yh2wf1be1#
一般来说，
dfs.data.dir是专为HDFS数据挂载的格式化卷。因此，“最大值”是datanode主板上物理SATA/USB/M.2 NVME连接器的数量乘以您能找到的最大硬盘驱动器的大小。如果不使用专用卷/设备，则最大值仍受磁盘大小的限制，但
dfs.datanode.du.reserved将为操作系统留出空间以供其自行运行。两者都与内存使用/堆空间无关