我使用的是delta lake oss版本0.8.0。
假设我们使用原始数据计算聚合数据和立方体，并使用delta-lake将结果保存在gold表中。
我的问题是，有没有一种众所周知的方法来访问这些黄金表数据并将其传递到web Jmeter 板（例如）？
在我的理解中，您需要一个正在运行的spark会话来查询delta表。
因此，一个可能的解决方案是编写一个webapi，执行这些spark查询。
你也可以在postgres这样的数据库中写入gold结果来访问它，但这似乎只是复制了数据。
是否有已知的最佳实践解决方案？
1条答案
按热度按时间eiee3dmh1#
真正的答案取决于您对延迟、每秒请求数、数据量、部署选项（cloud/on prem，数据所在位置-hdfs/s3/…）等的要求。可能的方法有：
让spark在应用程序内部以本地模式运行-它可能需要大量内存等。
将thrift jdbc/odbc服务器作为单独的进程运行，并通过jdbc/odbc访问数据
使用jvm的delta独立读取器库直接读取数据，或者通过使用rust/python/ruby的delta rs库读取数据