如何使用小部件在dataframe select语句中传递动态列名

zlwx9yxi  于 2021-07-14  发布在  Java
关注(0)|答案(1)|浏览(456)

我有一个dataframe,我想通过databricks笔记本中select语句中的小部件动态传递列名。我该怎么做?
我正在使用下面的代码

df1 = spark.sql("select * from tableraw")

哪里 df1 有“tablename”和“layer”列

df = df1.select("tablename", "layer")

现在,我们的要求是使用小部件的值来选择这些列,例如:

df = df1.select(dbutils.widget.get("tablename"), dbutils.widget.get("datalayer"))
cczfrluj

cczfrluj1#

python/scala

创建小部件

%python
dbutils.widgets.text(name = "pythonTextWidget", defaultValue = "columnName")
dbutils.widgets.dropdown(name = "pythonDropdownWidget", defaultValue = "col1", choices = ["col1", "col2", "col3"])
%scala
dbutils.widgets.text("scalaTextWidget", "columnName")
dbutils.widgets.dropdown("scalaDropdownWidget", "col1", Seq("col1", "col2", "col3"))

从小部件中提取值

%python
textColumn = dbutils.widgets.get("pythonTextWidget")
dropdownColumn = dbutils.widgets.get("pythonDropdownWidget")
%scala
val textColumn = dbutils.widgets.get("scalaTextWidget")
val dropdownColumn = dbutils.widgets.get("scalaDropdownWidget")

使用值选择列

%python
from pyspark.sql.functions import col
df.select(col(textColumn), col(dropdownColumn))
%scala
import org.apache.spark.sql.functions.col
df.select(col(textColumn), col(dropdownColumn))

sql语句

与python/scala相比,sql中的小部件的工作原理稍有不同,因为您不能使用它们来选择列。但是,小部件可以用来动态调整过滤器。

创建小部件

%sql CREATE WIDGET text sqlTextWidget DEFAULT "ACTIVE"
%sql CREATE WIDGET DROPDOWN sqlDropdownWidget DEFAULT "ACTIVE" CHOICES SELECT DISTINCT Status FROM <databaseName>.<tableName> WHERE Status IS NOT NULL

将小部件值应用于筛选语句

%sql SELECT * FROM <databaseName>.<tableName> WHERE Status = getArgument("sqlTextWidget")

更多的背景资料可以在小部件上的databricks文档中找到。

相关问题