共享v2数据源的存储库

aelbi1ox  于 2021-05-24  发布在  Spark
关注(0)|答案(0)|浏览(193)

我们正在开发一个sparkv2数据源,它实现了一个s3api,它完全符合awssdk,并且包含了s3select的下推。
我们的目标是与社区共享这个数据源。
我们在spark源中找到了一个地方,这个数据源在逻辑上可以驻留:/sql/core/src/main/scala/org/apache/spark/sql/execution/datasources/v2/
然而,我们不确定这是否是正确的方法。我们是否应该将此数据源包含在spark本身中?或者是否有其他存储库,我们可以在其中提出新的数据源以供包含?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题