有一个Py-pi for pyRFC,但是像所有其他C-python库一样,它有很多依赖项,需要设置环境变量等。有没有可能在Databricks集群上安装像pyRFC这样的c-python库?如果有,你会如何着手包含SDK依赖项?也许,有人已经尝试了Java版本?
fdbelqdn1#
是的,这是可能的。这通常是通过将cluster init script连接到集群来完成的。集群init脚本的任务是在所有集群节点上设置所有必要的依赖项,编译库/安装包等。通常,人们下载他们的包等,并将其放在DBFS上,然后使用/dbfs mount从init脚本内部访问它们。脚本可能如下所示(仅为示例):
/dbfs
#!/bin/bash # Unpack SAP SDK into some location tar zxvf /dbfs/FileStore/SAP-SDK.tar.gz # install package pip install pyrfc
1条答案
按热度按时间fdbelqdn1#
是的,这是可能的。这通常是通过将cluster init script连接到集群来完成的。集群init脚本的任务是在所有集群节点上设置所有必要的依赖项,编译库/安装包等。通常,人们下载他们的包等,并将其放在DBFS上,然后使用
/dbfs
mount从init脚本内部访问它们。脚本可能如下所示(仅为示例):