使用spark 1.6.2并尝试查找字段是否包含空字符串或日期值。
spark文档解释说,如果unix\u timestamp()函数失败时返回null,则预期会出现以下行为:
sqlContext.sql("select unix_timestamp('')").show
+----+
| _c0|
+----+
|null|
+----+
但当我尝试用“is null”检查它时,它返回false:
sqlContext.sql("select unix_timestamp('') is null").show
+-----+
| _c0|
+-----+
|false|
+-----+
相同的查询在配置单元中返回true:
hive> select unix_timestamp('') is null;
OK
true
为了完整起见,这里对null进行null检查:
sqlContext.sql("select null is null").show
+----+
| _c0|
+----+
|true|
+----+
1条答案
按热度按时间k7fdbhmy1#
这是一个bug,看起来它已经在spark2.x分支(可能是spark-12054)中得到了解决问题的根源是
unix_timestamp
. 如果执行:您将看到:
因为schema被报告为not
nullable
不检查值,并且unix_timestamp(...).isNull
总是假的。