我正在研究Oracle DWH解决方案迁移到GCP Bigquery。在Oracle DWH中,有一些表的大小为TB,最大的表大约为20TB。大型表通常是日期分区的,我们需要将至少6个月到12个月(对于某些情况)的数据迁移到Bigquery。
在本架构中,数据通过oracle Goldengate从源数据库流入DWH数据库。现在,客户希望将基于Oracle的DWH系统替换为GCP Bigquery,并在其上利用GCP数据分析和BI功能。
请帮助我了解将大型数据库迁移到BigQuery的成本效益和性能优势方法。我们应该有两个功能,如初始加载和CDC从源系统到Bigquery。
客户正在寻找基于Goldengate的解决方案,但我们正在努力最终确定初始加载方法,特别是针对大型表。我们曾尝试从源Oracle数据库中以CSV格式导出数据,然后将其加载到云存储中,作为初始加载的一部分,但将GB的数据导出到CSV需要很长时间。
需要您的Maven指导,以了解最佳解决方案。
数据从源表导出为CSV格式,但此过程需要很长时间才能导出。我们正在将大型数据库迁移到Bigquery,迁移时间轴也非常重要。需要一种更好且经济高效的迁移方法。
2条答案
按热度按时间42fyovps1#
有一个关于将数据从Oracle数据库复制到BigQuery的tutorial。虽然我还没试过。
bn31dyow2#
您可以查看Datastream和DMS(数据库管理服务)。如果您正在寻找升降机和转变,那么您需要去为VMware和裸机解决方案。希望这能帮上忙。