sparksql为配置单元构建?

3bygqnnd  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(340)

我已经下载了spark release-1.3.1,包类型是为Hadoop2.6和更高版本预先构建的
现在我想使用sparkshell在scala代码下面运行,所以我遵循以下步骤

1. bin/spark-shell

2. val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

3. sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")

现在的问题是如果我在浏览器上验证它

select * from src;

然后我得到
未找到表异常
这意味着没有创建表如何配置配置配置单元与sparkshell使之成功。我想使用sparksql,我还需要从配置单元读写数据。
我随机听说我们需要将hive-site.xml文件复制到spark目录的某个地方
有人能给我解释一下sparksql和hive配置的步骤吗
多谢图萨

5jvtdoz2

5jvtdoz21#

实际上,hive-site.xml的方向是正确的。看一看https://spark.apache.org/docs/latest/sql-programming-guide.html#hive-table。
另外,听起来您希望从spark创建一个配置单元表,请参阅上面同一文档中的“保存到持久表”。

相关问题