我用的是 lit() 在 filter 在我的Spark代码转换如下
lit()
filter
filter(to_date(df1("process_date"))>=lit("2019-03-21"))
当参数 lit() 硬编码如上所示。我想参数化传递给 lit() 功能。有人能告诉我们这是如何实现的，以及需要如何传入参数吗 spark-submit 为了这个。
spark-submit
vwoqyblh1#
spark提交命令
spark-submit --class SparkExample spark_example.jar "2019-03-21"
内部代码
object SparkExample { def main(args: Array[String]): Unit = { val date = args(0) val df = [...] // your code to create dataframe. df.filter(to_date(df1("process_date"))>=lit(date)) }}
object SparkExample {
def main(args: Array[String]): Unit = {
val date = args(0)
val df = [...] // your code to create dataframe.
df.filter(to_date(df1("process_date"))>=lit(date))
}
1条答案
按热度按时间vwoqyblh1#
spark提交命令
内部代码