SAP Spark Controller不缓存数据

cfh9epnr 于 2023-08-06 发布在 Apache

关注(0)|答案(2)|浏览(98)

我在HDP 2.4.3上运行了Spark Controller 2.0.0和Spark 1.6.2
在配置中，我配置了这些参数：

sap.hana.es.enable.cache=true
sap.hana.es.cache.max.capacity=500
sap.hana.hadoop.datastore=Hive

字符串
我已经将HANA 1.00.122连接到Spark Controller，在indexserver.ini中将enable_remote_cache参数设置为true，并将其中一个暴露的Hive表导入HANA中的虚拟表。
然后我对那个虚拟表运行select语句，但每次我都看到没有创建缓存（Spark UI的Storage选项卡中没有），也没有命中（查询运行时没有下降，我看到作业每次都经历相同的阶段）。
使用提示“with hint（USE_REMOTE_CACHE）”也没有帮助。
还有其他我忘记做的设置吗？

apache-spark

来源：https://stackoverflow.com/questions/44535263/sap-spark-controller-not-caching-data