如何将文件作为pig的模式?

vybvopom  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(306)

所以我有以下代码:
我的最终目标是让生成的文件成为另一个输入文件的模式。这可能吗?当前脚本的输出如下所示:

%declare INPUT '$input'
%declare SCHEMA '$schema'
%declare OUTPUT '$output'
%declare DEL '$del'
%declare COL ':'
%declare COM ','
A = LOAD '$SCHEMA' using PigStorage('$DEL') AS (field:chararray, dataType:chararray, flag:chararray, chars:chararray);
B = FOREACH A GENERATE CONCAT(field,CONCAT('$COL',CONCAT(REPLACE(REPLACE(dataType, 'decimal','double'), 'string', 'chararray'),'$COM')));
rmf $OUTPUT
STORE B INTO '$OUTPUT';

不确定正确的方法。
以下是输出:

record_id:chararray,
offer_id:double,
decision_id:double,
offer_type_cd:integer,
promo_id:double,
pymt_method_type_cd:double,
cs_result_id:double,
cs_result_usage_type_cd:double,
rate_index_type_cd:double,
sub_product_id:double,
campaign_id:double,
market_cell_id:double,
assigned_offer_id:chararray,
accepted_offer_flag:chararray,
current_offer_flag:chararray,
offer_good_until_date:chararray,
3qpi33ja

3qpi33ja1#

当然,你可以用 run 指挥 pig 要运行脚本并根据需要执行操作,有关如何执行的更多说明,请参阅此链接
希望有帮助!

相关问题