我收到了来自https://cloud.google.com/hadoop/datastore-connector 但我想补充一下 datastore-connector （和 bigquery-connector 也是）作为pom中的依赖项。。。我不知道这是否可能。我找不到正确的工件和groupid。
是否有一些maven存储库包含 datastore-connector ?
此外，我正在寻找 datastore-connector ，但我没找到。根据报纸上的笔记 CHANGES.txt ，似乎来自：
https://github.com/googlecloudplatform/bigdata-interop
源代码应该在包中 com.google.cloud.hadoop.io.datastore ( src/main/***/com/google/cloud/hadoop/io/datastore/ )但它不在那里。
事实上 bigquery-connector 似乎与pom一起出现在github上，但它是 datastore-connector 是否可用？
2条答案
按热度按时间vulvrdjw1#
数据存储连接器源不可用，也没有maven repo和工件。最好的选择是在源代码树中创建一个本地raven repo，如本文所述。
cfh9epnr2#
大卫在另一个答案中所说的是正确的。更详细地说，引擎盖下的连接器使用protocolbuffersdk，并使用queryspliter来定义拆分。在不久的将来，我们将向gcp hadoop发布更多信息，并就hadoop数据存储连接器的未来提供进一步的指导。
您可能需要熟悉其他更适合您的目的的数据存储特性，包括数据存储备份到gcs，以及这个代码实验室，它将通过一种外观友好的方法从数据存储中提取数据并将其加载到bigquery中进行分析。您可能会注意到，在该页面的顶部，有一条消息宣布trusted tester可用于将数据存储备份直接从后端加载到bigquery中。