aws数据管道:等待依赖项

nnvyjq4y  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(419)

我有一个数据管道,每次“等待依赖项”时都会被卡住并进入挂起模式。
这里我使用的是“hive activity”,它需要输入和输出。在我的例子中,我所有的数据都在hadoop基础设施中,因此我真的不需要s3输入和s3输出。但是,由于数据管道出错,无法删除它们。此外,管道在这一点上卡住了,尽管前提是s3节点“存在”。每次我运行这个管道时,我都必须手动“markfinish”s3node,然后事情就开始了。

{
   Name:
   @S3node1_2014-08-01T13:59:50
   [View instance fields]
   Description:
   Status: WAITING_ON_DEPENDENCIES
   Waiting on:
   @RunExpertCategories_2014-08-01T13:59:50
}

任何见解都会有所帮助。aws数据管道文档并不详细。

yws3nbqq

yws3nbqq1#

如果你设置 "stage": "false" 在hiveactivity上,则不需要输入和输出节点。

相关问题