我们有物联网数据进入MongoDB Atlas，需要不断将其复制到Google BigQuery中。试图找到一种方法，不涉及第三方SAAS解决方案，由于预算限制。我们需要复制整个插入的文档，并将它们作为原始数据存储在BigQuery中。如果有人以前做过，请分享你使用或做过的事情。
我看了Google的这篇文章"A data pipeline for MongoDB Atlas and BigQuery using Dataflow"，并实现了：“#1.MongoDB to BigQuery template”部分，但它会复制所有现有数据，然后完成作业;#36825;的部分。MongoDB到BigQuery CDC模板”，但这似乎并没有捕获任何传入的数据。
任何建议都非常感谢。谢谢.
1条答案
按热度按时间wyyhbhjk1#
您可以尝试使用方法中提到的**Mongoexpert：2这份文件。
使用
Mongoexpert，您可以生成存储在MongoDB示例中的数据的JSON或CSV**导出。您可以遵循本文档中的详细步骤。