我需要找出在每个模式中创建的表的数量，并找出每个模式所占用的大小。
xurqigkl1#
可以使用shell脚本执行此操作1.计算命令输出hive -S -e "set hive.cli.print.header=false; use $schema; show tables;" | wc -l中的行，其中$schema是您的模式名称1.模式的大小有点棘手。模式中的每个表在HDFS中都有自己的位置，不同于模式默认位置。您需要遍历模式表（请参阅前面的命令），describe formatted each table，解析表位置，获取位置大小，并计算HDFS中所有表位置大小的总和。要获取表位置大小，请使用以下命令：hdfs hadoop fs -du [table location] .
hive -S -e "set hive.cli.print.header=false; use $schema; show tables;" | wc -l
describe formatted each table
hdfs hadoop fs -du [table location]
1条答案
按热度按时间xurqigkl1#
可以使用shell脚本执行此操作
1.计算命令输出
hive -S -e "set hive.cli.print.header=false; use $schema; show tables;" | wc -l中的行，其中$schema是您的模式名称1.模式的大小有点棘手。模式中的每个表在HDFS中都有自己的位置，不同于模式默认位置。您需要遍历模式表（请参阅前面的命令），
describe formatted each table，解析表位置，获取位置大小，并计算HDFS中所有表位置大小的总和。要获取表位置大小，请使用以下命令：hdfs hadoop fs -du [table location].