我可以使用sqoop将数据导入rcfile格式吗?

ergxz8rk  于 2021-06-04  发布在  Hadoop
关注(0)|答案(2)|浏览(337)

根据http://sqoop.apache.org/docs/1.4.0-incubating/sqoopuserguide.html#id1764646
可以以两种文件格式之一导入数据:分隔文本或序列文件。
但是rcfile呢?
是否可以使用sqoop以rcfile格式将数据从oracledb导入hdfs?
如果是,怎么做?

mw3dktmi

mw3dktmi1#

sqoop目前不支持rc文件。有一个jira sqoop-640来添加这个功能。

r1wp621o

r1wp621o2#

Step 1: Create a ORC formatted table (base) in Hive.
    CREATE TABLE IF NOT EXISTS  tablename (hivecolumns)   STORED AS RCFILE

 Step 2 : Sqoop import to this RC table using HCatalog tool.  
     SQOOP IMPORT 
    --connect sourcedburl
    --username XXXX
    --password XXXX
     --table source_table
     --hcatalog-database hivedb
    --hcatalog-table tablename

[hcatalog的表抽象为用户提供了hadoop分布式文件系统(hdfs)中数据的关系视图,并确保用户不必担心数据存储在何处或以何种格式存储—rcfile格式、文本文件、SequenceFile或orc文件。]

相关问题