unix 在google Dataproc集群上运行pig脚本时出现错误,所有参数均已正确定义

qlfbtfca  于 2023-02-12  发布在  Unix
关注(0)|答案(1)|浏览(174)

这是我的Pig剧本-

fs -cp -f gs://$codepath/db_password.sh file://$dataprochome/db_password.sh;
fs -cp -f gs://$codepath/jdbc_daily_load_tables.py file://$dataprochome/jdbc_daily_load_tables.py;
sh chmod +x $dataprochome/db_password.sh;
sh chmod +x $dataprochome/jdbc_daily_load_tables.py;
sh $dataprochome/db_password.sh $dataprochome $stg_gcs_bucket $se_stg_gcs_bucket $target_schema $target_table_stg_gm_add_attributes_orbit $target_table_orbit_delivery_partner_icc $kvenv;

所有输入变量均已正确定义,但仍低于错误

2023-02-09 20:05:36,221 [main] ERROR org.apache.pig.Main - ERROR 2997: Encountered IOException. org.apache.pig.tools.parameters.ParseException: Encountered "<EOF>" at line 1, column 6.
Was expecting one of:
    IDENTIFIER
    OTHER
    LITERAL
    SHELLCMD
    
Details at logfile: /tmp/17114c5e-af3d-4a09-89c4-324250436a76/pig_1675973135671.log
2023-02-09 20:05:36,240 [main] INFO  org.apache.pig.Main - Pig script completed in 712 milliseconds (712 ms)
k5ifujac

k5ifujac1#

这是一个bash脚本,不是pig ......如果你在pig中运行它,那么这就很好地解释了为什么它解析那个文件失败。
您需要在shell脚本上使用sh,而不是pig

相关问题