SparkSQL有uuid() SQL内置函数,但是我在Scala中找不到它来与Dataset API一起使用。当然,我们可以这样说:
uuid()
expr("uuid()")
它将正常工作,因为它将被解析为表达式。我们在Scala数据集API中有它吗?在哪里?如果没有,有什么重要的技术原因吗?
epfja78i1#
如果你看一下Spark的x1e0 f1 a源代码,这里没有uuid函数,所以你不能通过调用dataset/dataframe api中的scala函数来使用它。
uuid
val generateUUID = udf(() => java.util.UUID.randomUUID().toString)
1条答案
按热度按时间epfja78i1#
如果你看一下Spark的x1e0 f1 a源代码,这里没有
uuid
函数,所以你不能通过调用dataset/dataframe api中的scala函数来使用它。expr("uuid()")
-正如您在上面提到的val generateUUID = udf(() => java.util.UUID.randomUUID().toString)
-使用自定义项