如何从配置单元日志文件中提取信息?

jyztefdp  于 2021-06-25  发布在  Hive
关注(0)|答案(0)|浏览(317)

我希望尽可能多地了解运行情况,以便找到瓶颈,并预测长时间运行的脚本何时完成:
到目前为止,我有下面的脚本,它标识了

what tables have been created
how many rows are in each table
how long each operation took

这就是我想出的解决办法,有人有更好的吗?

alias tableCreate="grep 'INFO  : Table\|seconds' \$logfile  | grep -A1 Table --no-group-separator | cut -d' ' -f4,5,8 | paste -s -d' \n' | awk '{ printf \"%s %-60s %20s %12s %s\n\", \$1, \$2, \$3, \$4, \$5 }'"

以下是输出示例:

Table bi_ngx_prod_enc.featuresextract_daily_copy                   numRows=35215299285,      (496.99 seconds)
Table bi_ngx_prod_enc.featuresextract_curr                            numRows=67555686,      (855.35 seconds)
Table bi_ngx_prod_enc.ps_feature_insert_hx                             numRows=3393098,     (309.263 seconds)
Table bi_ngx_prod_enc.ps_feature_delete_hx                              numRows=612539,        (21.3 seconds)

从日志中我们还能得到什么有用的东西?
我想我也应该共享这个别名,它将logfile变量设置为日志目录中最后更新的文件,然后对同一个文件执行尾部操作

alias lastlog='tail $(ls -tr logs/* | tail -1) ; ls -tr logs/* | tail -1; logfile=$(ls -tr logs/* | tail -1)'

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题