我试图用java中的spark创建一个简单的程序，但我得到了以下错误：
错误：（10，57）java:不兼容的类型：org.apache.spark.sparkconf无法转换为org.apache.spark.sparkcontext
我的代码：
package com.example.lab;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
public class Lab {
public static void main(String[] args) {
SparkConf config = new SparkConf();
config.setMaster("local[*]").setAppName("Lab");
JavaSparkContext jsc = new JavaSparkContext(config);
}
}我有一台Windows8.1电脑，运行Java1.8和SparkV2.3.0。
为什么会出现这个错误？
1条答案
按热度按时间o7jaxewo1#
不要使用sparkcontext。自spark 2.0以来，您应该使用sparksession，它同时涉及sparkcontext和sqlcontext。因此，您应该使用sparksession以这种方式指定配置：
更简单的是，通过直接使用sparksession.builder对象指定属性，您完全忘记了sparkconfig对象：
当然，如果你真的想要一个sparkcontext对象，你可以这样做：
查看sparksession类的javadocs。
希望有帮助！：）