我有一个avro文件格式的配置单元表（比如table1），有1900列。当我在配置单元中查询表时-我能够获取数据，但是当我在spark sql中查询同一个表时，我得到的是metastore客户端失去连接。正在尝试重新连接
我还查询了另一个avro文件格式的hive表（比如table2），其中包含130列，它在hive和spark中获取数据。
我观察到的是，我可以在表2的hdfs位置看到数据，但在表1的hdfs位置看不到任何数据（但当我只在配置单元中查询时，它会产生数据）
我有一个avro文件格式的配置单元表（比如table1），有1900列。当我在配置单元中查询表时-我能够获取数据，但是当我在spark sql中查询同一个表时，我得到的是metastore客户端失去连接。正在尝试重新连接
我还查询了另一个avro文件格式的hive表（比如table2），其中包含130列，它在hive和spark中获取数据。
我观察到的是，我可以在表2的hdfs位置看到数据，但在表1的hdfs位置看不到任何数据（但当我只在配置单元中查询时，它会产生数据）
2条答案
按热度按时间kq0g1dla1#
下面的内容将帮助您检查表1的数据在hdfs中的存储位置。
对于表1：您可以通过使用mapreduce作为执行引擎的配置单元中的where条件运行select查询来检查hdfs中数据的位置。作业完成后，您可以检查yarn应用程序的map任务日志（特别是文本“processing file”），并找到输入数据文件的来源。
另外，通过运行“show create table；”检查hivemetastore中两个表的数据位置两张table都在Hive里。从结果中，尝试检查“位置”详细信息。
j13ufse22#
告诉你约伯先生有多少Map绘制员。
它不会显示从中提取数据的确切位置。