我有一个API,可以将数据插入到大查询表every hour中,我想将此查询的结果导入到其他数据源MYSQL中,什么可以降低延迟解决方案,我的数据大小大约为5GB每次运行一种方法我想得到查询结果并插入到mysql通过JDBC,但在内存中将不可行
every hour
5GB
mspsb9vt1#
您可以使用Cloud SQL,因为它是一个低延迟数据库。它可以运行MySQL,PostgreSQL和SQL。使用CSV file从BigQuery导出数据,并将其存储在Cloud Storage中。然后,Cloud SQL将从Cloud Storage导入CSV文件。有关导入和导出的最佳做法,请参阅此documentation。Replication也是另一种方式,它使用Cloud Data Fusion。
CSV file
Cloud Storage
Cloud Data Fusion
1条答案
按热度按时间mspsb9vt1#
您可以使用Cloud SQL,因为它是一个低延迟数据库。它可以运行MySQL,PostgreSQL和SQL。
使用
CSV file
从BigQuery导出数据,并将其存储在Cloud Storage
中。然后,Cloud SQL将从Cloud Storage导入CSV文件。有关导入和导出的最佳做法,请参阅此documentation。Replication也是另一种方式,它使用
Cloud Data Fusion
。