我正在hdp2.6.2、spark 2.1.1上使用snappydata-1.0.1，并且能够从外部spark应用程序进行连接。但是，当我通过向spark conf添加hive-site.xml来启用配置单元支持时，snappysession将列出hivemetastore中的表，而不是snappystore中的表。
SparkConf sparkConf = new SparkConf().setAppName("TEST APP");
JavaSparkContext javaSparkContxt = new JavaSparkContext(sparkConf);
SparkSession sps = new SparkSession.Builder().enableHiveSupport().getOrCreate();
SnappySession snc = new SnappySession(new SparkSession(javaSparkContxt.sc()).sparkContext());
snc.sqlContext().sql("show tables").show();当hive-site.xml不在sparkconf中时（如果添加了hive-site.xml），上面的代码为我提供了snappy存储中的表列表。。它列出了配置单元元存储中的表。
不能在同一个应用程序中使用配置单元元存储和snappydata元存储吗？是否可以将配置单元表读入dataframe，将snappydata表读入同一应用程序中的另一个df？提前谢谢
1条答案
按热度按时间f4t66c6m1#
所以，问题不在于Hive元存储。可以在同一应用程序中使用配置单元表和snappy表。e、 g.将配置单元表复制到内存中的snappy中。但是，我们需要测试在hive-site.xml中配置的外部配置单元元存储的使用情况。也许是虫子。
您应该尝试使用snappy智能连接器。i、 e.使用hdp中的spark分布运行spark，并使用连接器连接到snappydata集群（参见docs）。在这里，您似乎正在尝试使用snappydata发行版运行spark应用程序。