弹性mapreduce的post钩子

u4dcyp6a  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(675)

我想知道是否有一个例子后处理电子病历(弹性mapreduce)?我要做的是在amazon的hadoop完成任务后立即向一群人发送一封电子邮件。

70gysomp

70gysomp1#

您需要配置作业结束通知url。
jobend.notificationurl
aws将访问这个url,大概是使用查询变量来指示哪个作业已经完成(job id)。
然后,您可以让服务器上的这个url处理您的电子邮件通知,假设您已经存储了电子邮件和作业id之间的关系。
https://issues.apache.org/jira/browse/hadoop-1111

prdp8dxp

prdp8dxp2#

更简单的方法是使用amazon cloudwatch(监控系统)和amazon simple notification service(sns)来监控并通知您和其他人emr作业的状态。
例如,您可以为集群设置一个警报,以便在其空闲时进行检查。一旦作业完成(或失败),它将被设置为1,然后您可以通过电子邮件(甚至sms)获得sns通知。您可以对作业失败计数和其他度量设置类似的警报。
有关电子病历相关指标的完整列表,请参阅电子病历文档
您可以在此处查看更多信息:http://docs.aws.amazon.com/elasticmapreduce/latest/developerguide/usingemr_viewingmetrics.html

相关问题