如何使用qubole配置单元查询从amazons3的gz文件中查询数据

cdmah0mi  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(698)

我需要从广州得到具体的数据。如何编写sql?我可以只使用sql作为表数据库吗

Select * from gz_File_Name where key = 'keyname' limit 10.

但它总是带着错误返回。

hlswsv35

hlswsv351#

您需要在此文件位置(文件夹)上创建配置单元外部表,以便能够使用配置单元进行查询。配置单元将识别gzip格式。这样地:

create external table hive_schema.your_table (
col_one string, 
col_two string
)
stored as textfile  --specify your file type, or use serde
LOCATION
  's3://your_s3_path_to_the_folder_where_the_file_is_located'
;

请参阅配置单元表上的手册:https://cwiki.apache.org/confluence/display/hive/languagemanual+ddl#languagemanualddl-createTable创建/删除/截断表
准确地说,s3在引擎盖下不存储文件夹,文件名在s3中包含/s,由不同的工具(如hive)表示,类似于文件夹结构。请看这里:https://stackoverflow.com/a/42877381/2700344

相关问题