我有一个在hadoop上以yarn模式运行的spark集群。我已经将livy服务器配置为交互并将客户机spark作业提交到spark集群。我从java程序上传了一个数据文件和jar到livy,该文件被上传到hdfs的.livysessions文件夹中。
LivyClient client = new LivyClientBuilder(true).setURI(new URI("http://191.111.123.11:8998")).build();
client.uploadFile(new File("/C:/HAL/kmeans_data.txt")).get();
Object str = client.uploadJar(new File("/C:/Users/msingh/livy-spring-app-1.3.6.RELEASE.jar")).get();
我应该如何配置我的程序从当前livy会话中读取数据文件来执行。
1条答案
按热度按时间czq61nw11#
您可以使用sparkfiles.get(),它将从spark作业中获取这些文件。试着告诉我。