在databricks connect和本地spark环境之间切换

mfuanj7w  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(288)

我期待着使用databricks连接开发一个pyspark管道。dbconnect非常棒,因为我能够在实际数据所在的集群上运行代码,所以它非常适合集成测试,但我也希望能够在开发和单元测试期间运行( pytestpytest-spark ),只需使用本地spark环境。
有没有办法配置dbconnect,以便在一个用例中我只使用本地spark环境,而在另一个用例中它使用dbconnect?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题