shell sript-fetch数据从配置单元表到文本文件

cu6pst1q 于 2021-05-30 发布在 Hadoop

关注(0)|答案(1)|浏览(303)

我正在修改一个shell脚本，但我对脚本不是很熟悉。
我可以从配置单元表中提取数据并放入txt文件，但是数据从我已经预先键入了列标题的第一行开始。
我怎样才能在第二行上加载数据？

temp_pull()
{
hadoop fs -cat /user/hive/warehouse/test_database.db/$1/* >> $2
}

temp_pull hive_table sample_txt_file.txt

示例.txt文件：

col1    col2    col3

调用temp\u pull（）后：

col1    col2    col3    hivedataRow1    hivedataRow1    hivedataRow1
hivedataRow2    hivedataRow2    hivedataRow3

1条答案

试试这个。

temp_pull()
  {
  hadoop fs -cat /user/hive/warehouse/test_database.db/$1/*  | tail -n +2 >> $2
  }

  temp_pull srclist sample_txt_file.txt

其他解决方案。

temp_pull()
 {
   hive -e 'select * from '$1'' | tail -n +2  > $2
  }

  temp_pull stud_02 sample_txt_file1.txt

根据需要调整。