java内核死在jupyter上运行PypSpark for r和rjava

juud5qan  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(305)

我有一个独特的设置。对于我们正在工作的数据科学家,我正在尝试让jupyter在hdp2.5设置上运行(已经完成),r通过jdbc使用rjdbc连接到hive。每当我在r中运行.jinit()时,内核就会死掉,并显示以下消息:
“内核似乎已经死了。它将自动重新启动。“
没有任何类型的错误输出。几天来一直在谷歌上搜索什么都没有。
这是我要运行的代码:

  1. library('RJDBC')
  2. hadoop.class.path = list.files(path=c("/usr/hdp/2.5.3.0-
  3. 37/hadoop"),pattern="jar", full.names=T);
  4. hive.class.path = list.files(path=c("/usr/hdp/current/hive-
  5. client/lib"),pattern="jar", full.names=T);
  6. hadoop.lib.path = list.files(path=c("/usr/hdp/current/hive-
  7. client/lib"),pattern="jar",full.names=T);
  8. mapred.class.path = list.files(path=c("/usr/hdp/current/hadoop-mapreduce-
  9. client/lib"),pattern="jar",full.names=T);
  10. cp = c(hive.class.path,hadoop.lib.path,mapred.class.path,hadoop.class.path)
  11. .jinit(classpath=cp,parameters=
  12. "Djavax.security.auth.useSubjectCredsOnly=false")

请注意,这在jupyter以外的地方很好用。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题