我有一个数据管道,每次“等待依赖项”时都会被卡住并进入挂起模式。
这里我使用的是“hive activity”,它需要输入和输出。在我的例子中,我所有的数据都在hadoop基础设施中,因此我真的不需要s3输入和s3输出。但是,由于数据管道出错,无法删除它们。此外,管道在这一点上卡住了,尽管前提是s3节点“存在”。每次我运行这个管道时,我都必须手动“markfinish”s3node,然后事情就开始了。
{
Name:
@S3node1_2014-08-01T13:59:50
[View instance fields]
Description:
Status: WAITING_ON_DEPENDENCIES
Waiting on:
@RunExpertCategories_2014-08-01T13:59:50
}
任何见解都会有所帮助。aws数据管道文档并不详细。
1条答案
按热度按时间yws3nbqq1#
如果你设置
"stage": "false"
在hiveactivity上,则不需要输入和输出节点。