是否可以在Databricks Spark集群上安装pyRFC(c-python)库?

m0rkklqb  于 2023-03-20  发布在  Python
关注(0)|答案(1)|浏览(145)

有一个Py-pi for pyRFC,但是像所有其他C-python库一样,它有很多依赖项,需要设置环境变量等。
有没有可能在Databricks集群上安装像pyRFC这样的c-python库?如果有,你会如何着手包含SDK依赖项?
也许,有人已经尝试了Java版本?

fdbelqdn

fdbelqdn1#

是的,这是可能的。这通常是通过将cluster init script连接到集群来完成的。集群init脚本的任务是在所有集群节点上设置所有必要的依赖项,编译库/安装包等。通常,人们下载他们的包等,并将其放在DBFS上,然后使用/dbfs mount从init脚本内部访问它们。
脚本可能如下所示(仅为示例):

#!/bin/bash

# Unpack SAP SDK into some location
tar zxvf /dbfs/FileStore/SAP-SDK.tar.gz

# install package
pip install pyrfc

相关问题