我目前正在尝试运行一个sqoop导入作业,它是spark jar的一部分。
我正在使用 com.cloudera.sqoop.SqoopOptions
以及 com.cloudera.sqoop.tool.ImportTool
运行sqoop作业。
代码如下所示:
import com.cloudera.sqoop.SqoopOptions
import com.cloudera.sqoop.tool.ImportTool
val options = new SqoopOptions
val sqoopImport = new ImportTool
options.setConnectString("..")
options.setTargetDir("..")
//and a bunch of other Sqoop related options
//and finally
val ret = sqoopImport.run(options)
但他根本不跑。这项工作继续下去 RUNNING
持续数小时,出现故障 ConnectionException
连接异常失败:java.net.connectexception:连接被拒绝;有关详细信息,请参阅:http://wiki.apache.org/hadoop/connectionrefused
编译器还发出警告 SqoopOptions
以及 ImportTool
已弃用。
我可以从中完美地执行代码 spark-shell
我正在提交我的申请 --master yarn-cluster --deploy-mode cluster
你知道这里出了什么问题吗?我必须使用不同的api吗?
暂无答案!
目前还没有任何答案,快来回答吧!