我有很多在prem集群上运行的遗留pig脚本,我们正在尝试迁移到aws数据管道(pigactivity),并希望这些pig脚本能够从我的源数据所在的s3存储桶读取数据。在prem pig脚本上,使用hcatalog加载程序读取配置单元表模式。所以,如果我在那些s3 bucket上创建athena表,有没有一种方法可以从pig脚本中的那些athena表中读取模式?使用类似于hcatloader的加载程序?
当前:下面的代码可以工作,但我必须在pig脚本中定义模式
%default SOURCE_LOC 's3://s3bucket/input/abc'
inp_data = LOAD '$SOURCE_LOC' USING PigStorage('\001') AS
(id: bigint, val_id: int, provision: chararray);
想要:从雅典娜的table上读
Athena table: database_name.abc (schema as id:bigint, val_id:int, provision:string)
因此,寻找如下内容:因此我不必在pig脚本中定义模式
%default SOURCE_LOC 'database_name.abc'
inp_data = LOAD '$SOURCE_LOC' USING athenaloader();
是否有一个加载实用程序来读取雅典娜?或者有没有别的办法来满足我的需要。请帮忙
暂无答案!
目前还没有任何答案,快来回答吧!