将数据从远程服务器加载到配置单元

xzv2uavs  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(253)

配置单元加载:
如何使用下面的命令将数据从外部服务器或远程计算机加载到配置单元表。下面的语句通常在hadoop本地边缘节点上工作。
将数据本地inpath“local file system”覆盖加载到表hive\u表中

2wnc66cl

2wnc66cl1#

在内部,hive处理hdfs中存在的模式,在hdfs中创建一个位置,然后将所有数据移动到该hdfs位置。
现在创建一个将读取/指向该位置的配置单元表。
如果是像cloudera/hortonworks这样的商业发行版,那么apachehue就是你的救星。
如果不是商业发行版,请使用scp协议创建hdfs文件,然后使用下面提到的配置单元语法:

hive> CREATE  TABLE `remote_file`(
    >   `Temperature` int, 
    >   `Year` string)
    > ROW FORMAT DELIMITED 
    >   FIELDS TERMINATED BY ',' 
    >   LINES TERMINATED BY '\n' 
    > LOCATION
    >   'hdfs:///tmp/remote_file';

相关问题