在docker上的cloudera quickstart中扩展hdfs内存

w6mmgewl  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(477)

我尝试使用cloudera quickstart docker映像,但是hdfs上似乎没有可用空间(0字节)。
启动容器后

docker run --hostname=$HOSTNAME -p 80:80 -p 7180:7180 -p 8032:8032 -p      8030:8030 -p 8888:8888 -p 8983:8983 -p 50070:50070 -p 50090:50090 -p 50075:50075 -p 50030:50030 -p 50060:50060 -p 60010:60010 -p 60030:60030 -p 9095:9095 -p 8020:8020 -p 8088:8088 -p 4040:4040 -p 18088:18088 -p 10020:10020 --privileged=true -t -i cloudera/quickstart /usr/bin/docker-quickstart

我可以启动cloudera manager

$/home/cloudera/cloudera-manager --express

并登录到web gui。在这里我可以看到dfs.datanode.data.dir是默认的/var/lib/hadoop hdfs/cache/hdfs/dfs/data
在控制台上,我的hdfs dfsadmin-report提供:

hdfs dfsadmin -report 
Safe mode is ON
Configured Capacity: 0 (0 B)
Present Capacity: 0 (0 B)
DFS Remaining: 0 (0 B)
DFS Used: 0 (0 B)
DFS Used%: NaN%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

但当我看着容器

df -h
Filesystem      Size  Used Avail Use% Mounted on
overlay          63G  8.3G   52G  14% /
tmpfs            64M     0   64M   0% /dev
tmpfs           5.9G     0  5.9G   0% /sys/fs/cgroup
/dev/sda1        63G  8.3G   52G  14% /etc/resolv.conf
/dev/sda1        63G  8.3G   52G  14% /etc/hostname
/dev/sda1        63G  8.3G   52G  14% /etc/hosts
shm              64M     0   64M   0% /dev/shm
cm_processes    5.9G  7.8M  5.9G   1% /var/run/cloudera-scm-agent/process

我要怎么做才能给hfs增加额外的空间?

gzszwxb4

gzszwxb41#

在这里我可以看到dfs.datanode.data.dir是默认的/var/lib/hadoop hdfs/cache/hdfs/dfs/data
您可以使用卷装载到该目录中。
更重要的是,跑步 df 在一个容器中是误导性的,在mac或windows上,DockerQCow2文件的大小是有限的。
如何绕过mac docker中docker.qcow2的大小限制?
看起来没有运行数据节点

相关问题