我们在Databricks上运行代码，其中SparkSession和SparkContext是在平台的后端定义的。然而，当我们的代码被Sonarqube分析时，我们一直有这些误报错误。然后我们需要手动标记为误报。如何克服这一点？不确定是在Sonarqube端还是在代码本身。
ars1skjm1#
在PySpark中，有一个方法可以用来获取当前会话的名称（如果它已经存在）或创建一个新的会话（如果它不存在）。在您的场景中，它听起来像是Databricks已经创建了会话（所以get或create只会获取会话），而在sonarqube中，它听起来像是尚未创建会话，所以这个方法会为您创建它，应该可以减轻错误。
from pyspark.sql import SparkSession spark = SparkSession.builder.appName('YourAppName').getOrCreate()
1条答案
按热度按时间ars1skjm1#
在PySpark中，有一个方法可以用来获取当前会话的名称（如果它已经存在）或创建一个新的会话（如果它不存在）。在您的场景中，它听起来像是Databricks已经创建了会话（所以get或create只会获取会话），而在sonarqube中，它听起来像是尚未创建会话，所以这个方法会为您创建它，应该可以减轻错误。