用于分布式数据存储的hadoop或spark连接器是如何工作的?

im9ewurl  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(290)

spark有各种数据库和数据存储的连接器。
但是,为您自己的自定义分布式数据库创建连接器需要什么。据我所知,spark使用hadoop连接器从分布式数据存储中获取数据。我没有找到一个好的资源来理解hadoop连接器是如何工作的,以及如何制作一个连接器。
我希望了解hadoop连接器的语义,以便能够为我的自定义数据库创建一个连接器。

kx1ctssn

kx1ctssn1#

必须使用java和hadoopapi实现一个记录读取器
那么spark就可以使用它了
我的建议是从读汤姆·怀特的书开始

相关问题