我可以说，不用java应用程序直接将数据复制到hdfs，而是将这些文件放在本地文件系统中，并使用以下命令通过hive将它们导入hdfs。

LOAD DATA LOCAL INPATH '/your/local/filesystem/file.csv' INTO TABLE `sandbox.test` PARTITION (day='20130221')

注意 LOCAL

使用外部表：

CREATE EXTERNAL TABLE sandbox.test(id BIGINT, name STRING) ROW FORMAT
              DELIMITED FIELDS TERMINATED BY ','
              LINES TERMINATED BY '\n' 
              STORED AS TEXTFILE
              LOCATION '/user/logs/';

如果您想对外部表使用分区，您将负责管理分区目录。指定的位置必须是hdfs目录。。
如果删除外部表，配置单元将不会删除源数据。如果要管理原始文件，请使用外部表。如果您希望hive执行此操作，请让hive存储在其仓库路径中。

您可以使用ALTERTABLEPARTITION语句来避免数据重复。

create External table if not exists TestTable (testcol string) PARTITIONED BY (year INT,month INT,day INT) row format delimited fields terminated by ',';

ALTER table TestTable partition (year='2014',month='2',day='17') location 'hdfs://localhost:8020/data/2014/2/17/';

配置单元（至少在真正的群集模式下运行时）无法引用本地文件系统中的外部文件。配置单元可以在表创建或加载操作期间自动导入文件。这背后的原因可能是hive在内部运行mapreduce作业来提取数据。mapreduce从hdfs读取数据，并将数据写回hdfs，甚至在分布式模式下运行。因此，如果文件存储在本地文件系统中，就不能被分布式基础设施使用。