我有一个标记字符串的代码。
但是这个标记化方法使用了一些在我的应用程序启动时加载的数据。

val stopwords = getStopwords();

val tokens = tokenize("hello i am good",stopwords)

def tokenize(string:String,stopwords: List[String]) : List[String] = {

   val splitted = string.split(" ")

   // I use this stopwords for filtering my splitted array.
   // Then i return the items back.

}

现在我想让tokenize方法成为spark的一个udf，我想用它在dataframe转换中创建新的列。
我之前创建了简单的udf，它没有依赖关系，比如它需要从文本文件中读取的项等等。
有人能告诉我怎么做这种手术吗？
这就是我所尝试过的，而且很有效。

val moviesDF = Seq(
        ("kingdomofheaven"),
        ("enemyatthegates"),
        ("salesinfointheyearofdecember"),
      ).toDF("column_name")

      val tokenizeUDF: UserDefinedFunction = udf(tokenize(_: String): List[String])

      moviesDF.withColumn("tokenized", tokenizeUDF(col("column_name"))).show(100, false)

      def tokenize(name: String): List[String] = {

        val wordFreqMap: Map[String, Double] = DataProviderUtil.getWordFreqMap()
        val stopWords: Set[String] = DataProviderUtil.getStopWordSet()
        val maxLengthWord: Int = wordFreqMap.keys.maxBy(_.length).length

        .................
        .................
      }

它给了我预期的结果：

+----------------------------+--------------------------+
|columnname                  |tokenized                 |
+----------------------------+--------------------------+
|kingdomofheaven             |[kingdom, heaven]         |
|enemyatthegates             |[enemi, gate]             |
|salesinfointheyearofdecember|[sale, info, year, decemb]|
+----------------------------+--------------------------+

现在我的问题是，它在部署时能工作吗？目前我正在本地运行它。我主要关心的是这个函数从一个文件中读取一些信息，比如stopwords、wordfreq等，从而使标记化成为可能。这样注册就可以正常工作了？