我们计划在azure云中实施一个项目,其中数据存储将是azure数据湖,目前和未来将实施hdp,adls将是扩展的数据节点。在adls中,我们希望使用tableau公开用于创建 Jmeter 板的数据。最初的计划是使用hive,tableau将通过hive连接到数据。但性能问题是:
将有多个用户可以通过tableau(100+)访问数据
我们还必须通过api调用将数据公开到不同的门户。
这意味着多个连接将在同一时间建立,这将击中Hive。我的问题是:
Hive能用最少的时间达到目的吗?
如何衡量绩效?
我不想让我的用户在tableau中运行查询后坐视不理,等待很长时间才能看到 Jmeter 板。
你能分享一下你在这个设计问题上的经验吗?我们应该使用hive还是使用其他性能更好的工具来处理tableau和hdfs存储。有人建议我使用azuresqlserver并将tableau连接到sqlserver。但这又是一种旧的方式,也是一个成本问题,因为价格与每个查询的执行有关。
如果您有任何更好的解决方案经验,请分享,将不胜感激。
提前谢谢。
1条答案
按热度按时间ac1kyiln1#
Hivellap可以工作,如果你能得到它的安装。
另外,在我的工作中,我们在使用prestodb和tableau处理s3数据方面有很好的经验。
有些团队使用sparksql,您可以设置一个spark-thrift服务器,它应该与hivejdbc/odbc驱动程序兼容