将python代码转换为python spark代码

olhwl3o2 于 2021-07-14 发布在 Spark

关注(0)|答案(1)|浏览(418)

下面的代码是用python编写的，我想把这段代码转换成pyspark，基本上我不确定语句-pd的代码是什么
需要从edl中提取数据，因此使用pyodbc连接到edl，并使用sql查询提取数据。
到企业数据湖的pyodbc连接：

connect_to_hive = pyodbc.connect("DSN=Hive", autocommit=True)
transaction=pd.read_sql(query, connect_to_hive)
connect_to_hive.close()

查询函数：下面只是一个基本的sql查询来复制这个问题。

query=f'''
with trans as (
    SELECT
        a.employee_name,
        a.employee_id

    FROM EMP
'''

python apache-spark pyspark apache-spark-sql pyodbc

来源：https://stackoverflow.com/questions/67164748/converting-python-code-to-python-spark-code

1条答案

按热度按时间

pdtvr36n1#

上面的代码可以转换为sparksql代码，如下所示：

spark = SparkSession.builder.enableHiveSupport().getOrCreate()

query=f'''
with trans as (
    SELECT
        a.employee_name,
        a.employee_id

    FROM EMP
'''

employeeDF = spark.sql(query)

employeeDF.show(truncate=False)

查询将在hive上按原样运行，结果将作为sparkDataframe提供给您

赞(0）回复(0）举报 2021-07-14

我来回答

将python代码转换为python spark代码

查询函数：下面只是一个基本的sql查询来复制这个问题。

1条答案

相关问题

热门标签

最新问答