我在sql中有一个类似于图形的数据。数据可以描述为:
产品表-分为两(2)类的SKU列表
Class 1: non-vehicle specific (universally fits all vehicle)
Class 2: vehicle-specific (custom-fit to specific set of vehicle)
1 sku fits one or more vehicle (YMMSE)
车辆主表(年份、品牌型号、子型号、发动机)又名ymmse,例如2014福特嘉年华s 4缸,1.6升
应用表-定制产品和相应车辆之间的关系。
我有一个应用程序表,运行到千兆字节,有大约8500万条记录。
问题是在sql中查询特定于sku的车辆ymmse需要很长时间,特别是在有大量应用程序Map(也称为“几乎通用”)的sku上。
applications表经常更新,所以我需要每次都能够执行昂贵的查询,直到mysql服务器几乎放弃或导致复制延迟为止。
问题是:
像hadoop或spark这样的分布式处理框架能帮助我快速发现特定于sku的车辆Map吗?
敬你,小君
1条答案
按热度按时间z31licg01#
像hadoop或spark这样的框架可以帮助消除数据库中的一些压力,但不是为低延迟操作而设计的。如果数据是图形化的,并且查询表示某种类型的图形遍历,那么最好使用专用工具,例如某种类型的图形数据库。