informatica在完成配置单元Map后是否有办法处理配置单元分区？
例如，假设数据来自数据库，informatica-bde将文件写入hdfs目录。hive外部表位于hdfs目录的顶部，现在需要添加该分区(例如hive-e“alter table cr.employee add partition（par_date='20150824'）location'/data/cr/employee/20150824'”。
这可以通过informatica-bde本机完成，还是需要安排一个单独的作业（例如shell脚本）来完成。
谢谢，
1条答案
按热度按时间eagi6jfj1#
你可以用以下两种方法来做
1） 创建一个外部分区表，并将数据加载到配置单元表而不是hdfs文件中，同时确保在配置单元连接属性的环境sql中设置以下属性
设置hive.exec.dynamic.partition=true；设置hive.exec.dynamic.partition.mode=nonstrict；
2） 如果您想将其加载到hdfs文件中，那么需要添加一个命令任务，该任务将调用hcat来更改/创建分区