如何比较pig中的两列并删除任何相同的值，而不考虑大小写

9rygscc1 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(304)

我有3列，一个id列和2个name列。有时，两个名称列的值相同，但其中一个列的值为大写，另一个列的值为小写。如果值相同（或具有相似字符），但大小写不同，如何删除这些值？
前任：
a=加载txt文件a=foreach a生成id，name1，name2
电流输出：

id1, james, JAMES
id2, tom, Tom
id3, Jim, Bob
id4, Bill, billy

预期输出：只有以下1个结果
a=比较name1和name2，如果name1中有任何类似的字符也在name2中，请将它们过滤掉
id3，吉姆，鲍勃
谢谢你的帮助！

1条答案

假设已加载关系a中的数据，并且名称的类型为chararray。

A = FILTER A BY (LOWER(A.$1) != LOWER(A.$2))
DUMP A;