我是学习hadoop的初学者。我有一台windows笔记本电脑,硬盘被分成4个驱动器。我最近清空了一个驱动器(d驱动器),在上面安装了ubuntu14.04,还安装了hadoop和hive。现在,当我试图通过linux使用hadoop时,我面临着空间限制。
linux安装在d驱动器上,windows安装在c驱动器上。当我想将本地文件系统中的数据移动到hive时,我必须先将其复制到hdfs中,然后再复制到hive中,现在我的问题是,在这方面,我的计算机上的另外两个驱动器是否可以用作本地文件系统或hdfs,最重要的是用作hdfs。如果是,请告诉我怎么做。非常感谢您的帮助。
1条答案
按热度按时间rlcwz9us1#
启动时自动装入windows驱动器:
为了在ubuntu中使用windows驱动器作为ubuntu驱动器,您必须在启动时自动挂载驱动器。
在terminal中,在/media文件夹中创建装入点,使用:
sudo mkdir /media/win-d
使用以下方法查找windows驱动器路径或uuid:sudo blkid
/dev/sda2:label=“win os”uuid=“18e0b145e0b1991a”type=“ntfs”使用编辑/etc/fstab
sudo nano /etc/fstab
在终端中添加以下行(在ubuntu启动时自动挂载windows驱动器),请使用以下任一行:/dev/sda2 /media/win-d ntfs defaults 0 0
(或)UUID=18E0B145E0B1991A /media/win-d ntfs defaults 0 0
注意:如有必要,请重新启动系统。现在,您可以将这个挂载的驱动器用于hdfs存储或本地文件系统。
hdfs目录:
根据hadoop版本,使用
file://
在hdfs-site.xml中(在所有节点上),如果要使用本地文件系统而不是hdfs文件系统。