我对spark和graphx是新手。到目前为止,我一直在使用titan db(hbase存储)和giraph进行处理。我需要一个有30亿个顶点和50亿条边的图。存储图形的最佳方式是什么(通过添加顶点和边从头开始创建图形,我还想离开titan api来创建图形)。我找不到任何关于这个的直接文件。你能告诉我用graphx和商品硬件创建/存储图形和进程的最佳方法是什么吗?谢谢。
nfzehxib1#
只要您可以将hbase表读入rdd(您可以读入rdd),就不会有问题。查看hbasetest示例(它位于spark分布中)可能会对您有进一步的帮助。
1条答案
按热度按时间nfzehxib1#
只要您可以将hbase表读入rdd(您可以读入rdd),就不会有问题。查看hbasetest示例(它位于spark分布中)可能会对您有进一步的帮助。