我不想在hive中使用tez生成的dag计划,而是希望使用自己创建的自定义dag计划。有可能吗?如果是,有人能解释一下吗?
5lwkijsr1#
如果使用配置单元运行查询,则不能使用自定义dag。如果您使用api对tez应用程序进行底层编程,您可以。请参见此处的高级文档:https://hortonworks.com/blog/expressing-data-processing-in-apache-tez/像这样:
//Define DAG DAG dag = new DAG(); Vertex map1 = new Vertex(MapProcessor.class) and so on...
请参见apache项目示例:https://git-wip-us.apache.org/repos/asf?p=tez.git;a=水滴;f=tez examples/src/main/java/org/apache/tez/examples/hashjoinexample.java
1条答案
按热度按时间5lwkijsr1#
如果使用配置单元运行查询,则不能使用自定义dag。如果您使用api对tez应用程序进行底层编程,您可以。请参见此处的高级文档:https://hortonworks.com/blog/expressing-data-processing-in-apache-tez/
像这样:
请参见apache项目示例:https://git-wip-us.apache.org/repos/asf?p=tez.git;a=水滴;f=tez examples/src/main/java/org/apache/tez/examples/hashjoinexample.java