如何从bigquery中检索数据并将数据插入mysql?

lxkprmvk  于 2021-06-20  发布在  Mysql
关注(0)|答案(1)|浏览(401)

我正在尝试编写一个批处理文件,它可以从googlebigquery检索特定的数据,然后将这些数据插入mysql。
批处理服务器的语言是java,构建工具是ant。

sg2wtvxw

sg2wtvxw1#

像我一样ñigo提到,您可以使用bigqueryjava客户机库从bigquery读取数据。这将是最简单的方法。这里有两个选项:
a、 创建一个查询作业来获取sql查询的结果集,解析结果并将其写入mysql。对于这种方法,您可以使用:
“job create”方法来创建查询作业(参见链接中的示例)。
“getjob”方法来获取异步作业的状态。
“getquery”方法使用results方法来获取结果集。
b、 创建一个导出作业,将bigquery表的数据导出到云存储中的一个文件中,然后从云存储中下载该文件并将数据写入mysql。注意:如果您不熟悉google云平台,那么这种方法将更加困难,因为您需要创建一个云存储桶并与云存储java库交互。
要将数据写入mysql,您需要使用这样的java连接器。
希望这能给你指明正确的方向。

相关问题