pig：如何为数据子集的列添加新值？

zi8p0yeb 于 2021-06-21 发布在 Pig

关注(0)|答案(1)|浏览(261)

我有一些数据如下：

patient_id lab_value
1, 10
1, 3
2, 1
2, 4
3, 5
3, 10
3, 2

我想做的是找到每个患者id分组的最大实验室值，然后最终计算实验室值和最大值之间的差异，如下所示。

patient_id lab_value lab_diff
1, 10, 0
1, 3, 7 (10 - 3)
2, 1, 3 
2, 4, 0
3, 5, 5 (10 - 5)
3, 10, 0
3, 2, 8 (10 - 2)

我该怎么做？

apache-pig

来源：https://stackoverflow.com/questions/35277519/pig-how-do-i-add-a-new-value-for-a-column-for-a-subset-of-data

1条答案

按热度按时间

e0bqpujr1#

步骤
加载数据
按id分组
获取每个id的最大实验室值
用最大值区分每个组
基于id以最大实验室值联接数据
从最大值-实验室值生成差异值
Pig手稿

A = LOAD 'test1.txt' USING PigStorage(',') AS (id:int, lab_value:int);
B = GROUP A BY id;
C = FOREACH B GENERATE group as id,MAX(A.lab_value) as max_value;
C1= DISTINCT C;
D = JOIN A BY id,C1 BY id;
E = FOREACH D GENERATE A::id,A::lab_value,(C1::max_value - A::lab_value) as diff_value;
DUMP E;

结果

展开查看全部

赞(0）回复(0）举报 2021-06-21

我来回答

pig：如何为数据子集的列添加新值？

1条答案

相关问题

热门标签

最新问答