我已经下载了spark release-1.3.1,包类型是为Hadoop2.6和更高版本预先构建的
现在我想使用sparkshell在scala代码下面运行,所以我遵循以下步骤
1. bin/spark-shell
2. val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
3. sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")
现在的问题是如果我在浏览器上验证它
select * from src;
然后我得到
未找到表异常
这意味着没有创建表如何配置配置配置单元与sparkshell使之成功。我想使用sparksql,我还需要从配置单元读写数据。
我随机听说我们需要将hive-site.xml文件复制到spark目录的某个地方
有人能给我解释一下sparksql和hive配置的步骤吗
多谢图萨
1条答案
按热度按时间5jvtdoz21#
实际上,hive-site.xml的方向是正确的。看一看https://spark.apache.org/docs/latest/sql-programming-guide.html#hive-table。
另外,听起来您希望从spark创建一个配置单元表,请参阅上面同一文档中的“保存到持久表”。