我希望编写一个etl解决方案,协调将数据从s3复制到运行apachehbase的aws emr集群中。
我想写的步骤如下:
csv文件上传到s3 bucket。
触发lambda函数,将文件从s3移动到hbase集群的hdfs中
调用hbase的importtsv实用程序将hdfs上的csv批量加载到hbase表中。
我是aws的新成员,所以我不确定什么是最好的工具来协调这个工作流程。我将如何着手实施这一点?
我希望编写一个etl解决方案,协调将数据从s3复制到运行apachehbase的aws emr集群中。
我想写的步骤如下:
csv文件上传到s3 bucket。
触发lambda函数,将文件从s3移动到hbase集群的hdfs中
调用hbase的importtsv实用程序将hdfs上的csv批量加载到hbase表中。
我是aws的新成员,所以我不确定什么是最好的工具来协调这个工作流程。我将如何着手实施这一点?
暂无答案!
目前还没有任何答案,快来回答吧!