我期待着使用databricks连接开发一个pyspark管道。dbconnect非常棒,因为我能够在实际数据所在的集群上运行代码,所以它非常适合集成测试,但我也希望能够在开发和单元测试期间运行( pytest
与 pytest-spark
),只需使用本地spark环境。
有没有办法配置dbconnect,以便在一个用例中我只使用本地spark环境,而在另一个用例中它使用dbconnect?
我期待着使用databricks连接开发一个pyspark管道。dbconnect非常棒,因为我能够在实际数据所在的集群上运行代码,所以它非常适合集成测试,但我也希望能够在开发和单元测试期间运行( pytest
与 pytest-spark
),只需使用本地spark环境。
有没有办法配置dbconnect,以便在一个用例中我只使用本地spark环境,而在另一个用例中它使用dbconnect?
暂无答案!
目前还没有任何答案,快来回答吧!