如何将cassandra转换为hdfs文件系统以进行shark/hive查询

rlcwz9us  于 2021-06-03  发布在  Hadoop
关注(0)|答案(5)|浏览(713)

有没有办法将cassandra数据公开为hdfs,然后在hdfs上执行shark/hive查询??
如果是,请提供一些链接,将cassandra db转换为hdfs。

iq3niunx

iq3niunx1#

您可以编写identity mapreduce代码,从cfs(cassandra文件系统)获取输入并将数据转储到hdfs。
一旦hdfs中有了数据,就可以Map配置单元表并运行查询。

monwx1rj

monwx1rj2#

您可以使用tuplejump calliope项目。https://github.com/tuplejump/calliope
使用tumplejump代码中提供的存储处理程序配置shark中的外部cassandra表(如配置单元)。
祝你一切顺利!

pvabu6sv

pvabu6sv3#

我想你是在试图用Cassandra已有的数据来运行hive/shark。如果是这样的话,那么您不需要以hdfs的形式访问它,但是您需要一个hive处理程序来对cassandra使用它。
为此,您可以使用tuplejump的项目,readme提供了如何构建和使用它的说明。如果你想把你的“大文件”放在cassandra中并对它们进行查询,就像你在hdfs中做的那样,你需要一个在cassandra上运行的文件系统,比如datastax在dse中的cfs,或者tuplejump的snackfs(在calliope项目early access repo中)
免责声明:我为tuplejump公司工作。

tag5nh1u

tag5nh1u4#

在配置单元中访问cassandra数据的典型方法是使用cqlstoragehandler。详细信息请参见cassandra cql3的配置单元支持。
但是如果你有一些直接访问数据的理由,可以看看食火鸡。它是一个用于cassandra和shark的“hive存储处理程序”,直接读取sstables。这样就可以完全控制用于运行即席查询的资源,从而控制对实时cassandra性能的影响。”

eqoofvh9

eqoofvh95#

三个Cassandra hive 储藏室
https://github.com/2013commons/hive-cassandra 对于2.0和hadoop 2
https://github.com/dvasilen/hive-cassandra/tree/hive-0.11.0-hadoop-2.0.0-cassandra-1.2.9
https://github.com/richardalow/cassowary 直接从sstable

相关问题