我正在使用datastax网站提供的批量加载示例生成cassandra sstables。http://www.datastax.com/dev/blog/bulk-loading
我的问题是，sstable文件理想地占用了多少磁盘空间？在我的例子中，我的数据csv文件是40gb，sstables为此特定文件消耗的总磁盘空间大约是250gb。在创建这些表时，是否缺少一些内容？是否有任何压缩选项可用于生成sstable？
第二步，我使用sstableloader加载sstables，它工作得非常好，并且可以在cql中查询数据。
另外，我想知道除了上面提到的bulkload方法之外，是否还有其他技术可以将大数据导入cassandra。
1条答案
按热度按时间yshpjwxd1#
首先检查是否启用了压缩。如何检查？
如果sstable被压缩，它将有一个compressioninfo.db组件（即，用end with--compressioninfo.db组成sstable的文件之一）。如果没有这样的文件，那么它就不会被压缩。
有关压缩的更多信息，请检查此项。
移动到最后一个问题有其他替代批量加载方法，使用copy命令。见文件