我使用Spark2.4已经有一段时间了，最近几天刚开始切换到Spark3.0。我在切换到spark 3.0运行后出现了这个错误 udf((x: Int) => x, IntegerType) :

Caused by: org.apache.spark.sql.AnalysisException: You're using untyped Scala UDF, which does not have the input type information. Spark may blindly pass null to the Scala closure with primitive-type argument, and the closure will see the default value of the Java type for the null argument, e.g. `udf((x: Int) => x, IntegerType)`, the result is 0 for null input. To get rid of this error, you could:
1. use typed Scala UDF APIs(without return type parameter), e.g. `udf((x: Int) => x)`
2. use Java UDF APIs, e.g. `udf(new UDF1[String, Integer] { override def call(s: String): Integer = s.length() }, IntegerType)`, if input types are all non primitive
3. set spark.sql.legacy.allowUntypedScalaUDF to true and use this API with caution;

这些解决方案是由spark自己提出的，在谷歌搜索了一段时间后，我进入了spark迁移指南页面：
在spark 3.0中，默认情况下不允许使用org.apache.spark.sql.functions.udf（anyref，datatype）。删除return type参数以自动切换到类型化的scala udf，或者将spark.sql.legacy.allowuntypedscalaudf设置为true以继续使用它。在sparkversion2.4及更低版本中，如果org.apache.spark.sql.functions.udf（anyref，datatype）获得带有基元类型参数的scala闭包，则如果输入值为null，则返回的udf将返回null。但是，在spark 3.0中，如果输入值为null，则udf将返回java类型的默认值。例如，val f=udf（（x:int）=>x，integertype），f（$“x”）在spark 2.4中返回null，如果x列为null，则在spark 3.0中返回0。引入这种行为更改是因为spark 3.0默认使用scala 2.12构建。
来源：spark迁移指南
我注意到我通常的使用方法 function.udf api，即 udf(AnyRef, DataType) ，称为 UnTyped Scala UDF 建议的解决方案是 udf(AnyRef) ，称为 Typed Scala UDF .
据我所知，第一个看起来比第二个更严格的类型化，其中第一个有显式定义的输出类型，而第二个没有，因此我不明白为什么称之为非类型化。
函数也被传递给了 udf ，即 (x:Int) => x ，显然已定义其输入类型，但 You're using untyped Scala UDF, which does not have the input type information ?
我的理解正确吗？即使经过更深入的搜索，我仍然找不到任何材料来解释什么是非类型化的scala-udf，什么是类型化的scala-udf。
所以我的问题是：它们是什么？他们有什么不同？