java—从当前livy会话访问数据文件

u59ebvdq  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(430)

我有一个在hadoop上以yarn模式运行的spark集群。我已经将livy服务器配置为交互并将客户机spark作业提交到spark集群。我从java程序上传了一个数据文件和jar到livy,该文件被上传到hdfs的.livysessions文件夹中。

LivyClient client = new LivyClientBuilder(true).setURI(new URI("http://191.111.123.11:8998")).build();
client.uploadFile(new File("/C:/HAL/kmeans_data.txt")).get();
Object str = client.uploadJar(new File("/C:/Users/msingh/livy-spring-app-1.3.6.RELEASE.jar")).get();

我应该如何配置我的程序从当前livy会话中读取数据文件来执行。

czq61nw1

czq61nw11#

您可以使用sparkfiles.get(),它将从spark作业中获取这些文件。试着告诉我。

相关问题