我查看了开发人员指南,但没有找到答案。到目前为止,我能够从hdfs加载csv和orc文件到vora,但是能够从hive加载吗?
在没有将hive指定为源的情况下,我尝试使用等于/apps/hive/warehouse/tablename/00000\u0的“路径”(或任何部分文件名)。但是,如果一个配置单元表是由/tablename/目录中的多个文件表示的,则必须在“路径”中显式列出它们,这不是一个理想的选项。有没有更好的办法?
更新:这个问题的上下文是,虽然vora不提供数据持久性,但我想使用hive仓库作为持久性层,它最终还是文件,但有一些额外的组织。在sap生态系统中使用hadoop,我可以利用sapdataservices和hiveadapter将文件从外部加载到hadoop中(如果需要,可以将hadoop中的数据转储到文件中),并通过vora提供这些数据。
1条答案
按热度按时间quhf5bfb1#
没有自动的方法将配置单元表加载/迁移到vora中。在hdfs中基于(hive-organized)文件创建vora表将是一种可行的方法。
这个
paths
选项允许使用通配符*
从hdfs中的特定目录加载所有文件。这适用于csv,Parquet,兽人。例如paths "/path_to_my_dir1/*,/path_to_my_dir2/*"