如何使用pyspark连接spark和hive？

xuo3flqw 于 2021-06-27 发布在 Hive

关注(0)|答案(1)|浏览(687)

我正在尝试使用 pyspark ，远程。它表示无法连接到配置单元元存储客户端的错误。
我已经阅读了许多关于so和其他来源的答案，它们大多是配置，但没有一个可以解决为什么我无法远程连接。我阅读了文档并注意到，在不更改任何配置文件的情况下，我们可以将spark与 hive . 注意：我已经转发了一台机器 hive 正在运行并将其提供给 localhost:10000 . 我甚至用同样的方法 presto 并且能够在上运行查询 hive .
代码是：

from pyspark import SparkContext, SparkConf
from pyspark.sql import SparkSession, HiveContext
SparkContext.setSystemProperty("hive.metastore.uris", "thrift://localhost:9083")
sparkSession = (SparkSession
                .builder
                .appName('example-pyspark-read-and-write-from-hive')
                .enableHiveSupport()
                .getOrCreate())
data = [('First', 1), ('Second', 2), ('Third', 3), ('Fourth', 4), ('Fifth', 5)]
df = sparkSession.createDataFrame(data)
df.write.saveAsTable('example')

我希望输出是一个表被保存的确认，但是相反，我面临这个错误。
抽象错误为：

During handling of the above exception, another exception occurred:
Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
  File "/usr/local/spark/python/pyspark/sql/readwriter.py", line 775, in saveAsTable
    self._jwrite.saveAsTable(name)
  File "/usr/local/spark/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", line 1257, in __call__
  File "/usr/local/spark/python/pyspark/sql/utils.py", line 69, in deco
    raise AnalysisException(s.split(': ', 1)[1], stackTrace)
pyspark.sql.utils.AnalysisException: 'java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient;'

我已经发出命令：

ssh -i ~/.ssh/id_rsa_sc -L 9000:A.B.C.D:8080 -L 9083:E.F.G.H:9083 -L 10000:E.F.G.H:10000 ubuntu@I.J.K.l

当我通过命令检查端口10000和9083时：

aviral@versinator:~/testing-spark-hive$ nc -zv localhost 10000
Connection to localhost 10000 port [tcp/webmin] succeeded!
aviral@versinator:~/testing-spark-hive$ nc -zv localhost 9083
Connection to localhost 9083 port [tcp/*] succeeded!

运行脚本时，出现以下错误：

Caused by: java.net.UnknownHostException: ip-172-16-1-101.ap-south-1.compute.internal
    ... 45 more

Hive pyspark python-3.x pyspark-sql thrift-protocol

来源：https://stackoverflow.com/questions/55339022/how-to-connect-spark-with-hive-using-pyspark

1条答案

按热度按时间

wswtfjt71#

关键在于让配置单元在创建spark会话本身的同时进行配置。

sparkSession = (SparkSession
                .builder
                .appName('example-pyspark-read-and-write-from-hive')
                .config("hive.metastore.uris", "thrift://localhost:9083", conf=SparkConf())
                .enableHiveSupport()
                .getOrCreate()
                )

需要注意的是，spark conf不需要更改，即使像aws glue这样的无服务器服务也可以有这样的连接。
完整代码：

from pyspark import SparkContext, SparkConf
from pyspark.conf import SparkConf
from pyspark.sql import SparkSession, HiveContext
"""
SparkSession ss = SparkSession
.builder()
.appName(" Hive example")
.config("hive.metastore.uris", "thrift://localhost:9083")
.enableHiveSupport()
.getOrCreate();
"""
sparkSession = (SparkSession
                .builder
                .appName('example-pyspark-read-and-write-from-hive')
                .config("hive.metastore.uris", "thrift://localhost:9083", conf=SparkConf())
                .enableHiveSupport()
                .getOrCreate()
                )
data = [('First', 1), ('Second', 2), ('Third', 3), ('Fourth', 4), ('Fifth', 5)]
df = sparkSession.createDataFrame(data)
# Write into Hive
# df.write.saveAsTable('example')
df_load = sparkSession.sql('SELECT * FROM example')
df_load.show()
print(df_load.show())

展开查看全部

赞(0）回复(0）举报 2021-06-27

我来回答

如何使用pyspark连接spark和hive？

1条答案

相关问题

热门标签

最新问答