根据http://sqoop.apache.org/docs/1.4.0-incubating/sqoopuserguide.html#id1764646可以以两种文件格式之一导入数据:分隔文本或序列文件。但是rcfile呢?是否可以使用sqoop以rcfile格式将数据从oracledb导入hdfs?如果是,怎么做?
mw3dktmi1#
sqoop目前不支持rc文件。有一个jira sqoop-640来添加这个功能。
r1wp621o2#
Step 1: Create a ORC formatted table (base) in Hive. CREATE TABLE IF NOT EXISTS tablename (hivecolumns) STORED AS RCFILE Step 2 : Sqoop import to this RC table using HCatalog tool. SQOOP IMPORT --connect sourcedburl --username XXXX --password XXXX --table source_table --hcatalog-database hivedb --hcatalog-table tablename
[hcatalog的表抽象为用户提供了hadoop分布式文件系统(hdfs)中数据的关系视图,并确保用户不必担心数据存储在何处或以何种格式存储—rcfile格式、文本文件、SequenceFile或orc文件。]
2条答案
按热度按时间mw3dktmi1#
sqoop目前不支持rc文件。有一个jira sqoop-640来添加这个功能。
r1wp621o2#
[hcatalog的表抽象为用户提供了hadoop分布式文件系统(hdfs)中数据的关系视图,并确保用户不必担心数据存储在何处或以何种格式存储—rcfile格式、文本文件、SequenceFile或orc文件。]