用于创建hdfs目录和配额设置的自动shell脚本

mitkmikd  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(305)

我在hortonworks有一个集群设置,有ambari 2.1和HDP2.3。我必须创建一个自动脚本来创建hdfs目录和配额设置。任何人有任何与此相关的脚本或任何类型的建议,请张贴在这里。

ozxc1zmp

ozxc1zmp1#

我只是快速阅读了hdfs,找到了一些可能有用的页面,使用shell脚本就足够了。
可以使用以下方法添加新目录:

hdfs hdfs dfs -mkdir /directory_name

可通过以下方式更改配额:

hdfs hdfs dfsadmin -setSpaceQuota 1k /directory_name

现在,如果我们将上面的内容组合成一个脚本,说“create\u and\u set\u quota.sh”并通过在shell上运行它 ./create_and_set_quota.sh mydirname 包括以下内容:

hdfs hdfs dfs -mkdir /$1
hdfs hdfs dfsadmin -setSpaceQuota 1024m /$1

应创建目录并设置配额。以下是更多包含示例和匹配讨论的页面:
为用户设置配额
创建一个目录并设置配额,这是上面代码的基础。
更多hdfs命令

e4yzc0pl

e4yzc0pl2#

下面是我的剧本:


# !/bin/bash

read -p "Enter UserName: "  username
echo "Welcome $username!"
read -s -p "Enter Password: " pswd
echo $pswd
hdfs dfs -mkdir /$1
hdfs dfs -mkdir /$2
hdfs dfs -mkdir /$3
hdfs dfs -chown hdfs:hdfs /$1
hdfs dfs -chown hdfs:hdfs /$2
hdfs dfs -chown hdfs:hdfs /$3
hdfs dfs -chmod 775 /$1
hdfs dfs -chmod 775 /$2
hdfs dfs -chmod 775 /$3
hdfs dfsadmin -setSpaceQuota 1024m /$1
hdfs dfsadmin -setSpaceQuota 1024m /$2
hdfs dfsadmin -setSpaceQuota 1024m /$3

我在贝壳上通过 ./create_and_set_quota.sh test1 test2 test3

相关问题