运行sqoop导出时需要hdfs中的额外块

pkwftd7m  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(281)

跑步:[cloudera@quickstart ~]$sqoop导出--连接”jdbc:mysql://快速启动。cloudera:3306/retail_db“--username retail\u dba--password cloudera--table department\u export--export dir/home/cloudera/sqoop\u import/departments-m 12”
错误:
16/12/24 22:29:48 info client.rmproxy:连接到resourcemanager at/0.0.0:8032 16/12/24 22:29:49 info mapreduce.jobsubmitter:清理暂存区域/tmp/hadoop yarn/staging/cloudera/.staging/job_\u 0001 16/12/24 22:29:49警告安全性。用户组信息:PrivilegedActionException as:cloudera(auth:simple) cause:org.apache.hadoop.ipc.remoteexception(org.apache.hadoop.hdfs.server.namenode.safemodeexception):无法删除/tmp/hadoop/staging/cloudera/.staging/job\u 1482646432089\u 0001。名称节点处于安全模式。所报告的块1268需要额外的39个块来达到总块1308的阈值0.9990。活动数据节点1的数目已达到最小数目0。一旦达到阈值,安全模式将自动关闭。在org.apache.hadoop.hdfs.server.namenode.fsnamesystem.checknamenodesafemode(fsnamesystem。java:1446)位于org.apache.hadoop.hdfs.server.namenode.fsnamesystem.deleteinternal(fsnamesystem)。java:4072)在org.apache.hadoop.hdfs.server.namenode.fsnamesystem.deleteint(fsnamesystem。java:4030)
尝试使用“hdfs dfsadmin-safemode leave”,再次出现错误,
16/12/24 10:37:59 info client.rmproxy:连接到resourcemanager at/0.0.0:8032 16/12/24 10:38:00 info mapreduce.jobsubmitter:清理暂存区域/tmp/hadoop yarn/staging/cloudera/.staging/job_16/12/24 10:38:00警告安全性。用户组信息:privilegedActionException as:cloudera(auth:simple) cause:org.apache.hadoop.ipc.remoteexception(org.apache.hadoop.hdfs.server.namenode.safemodeexception):无法删除/tmp/hadoop/staging/cloudera/.staging/job\u 1482602419946\u 0007。名称节点处于安全模式。它是手动打开的。使用“hdfs dfsadmin-safemode leave”关闭安全模式。在org.apache.hadoop.hdfs.server.namenode.fsnamesystem.checknamenodesafemode(fsnamesystem。

i2byvkas

i2byvkas1#

确保为sqoop运行时正确设置了hcat\u home环境变量。出现的错误是因为sqoop无法找到所需的依赖项“org.apache.hive.hcatalog*”,该依赖项在hive的hcatalog中可用。

相关问题