两个日志行中的作业是否都有唯一的id？还有什么东西可以指示哪个事件是开始的，哪个是结束的？
如果是这样，您可以读取数据集两次，一次读取开始事件，一次读取结束事件，然后将两者连接在一起。然后你将有一个记录，其中包含两个事件。
所以：

A = FOREACH logline GENERATE id, type, timestamp;
START = FILTER A BY (type == 'start');

END = FILTER A  BY (type == 'end');

JOINED = JOIN START by ID, END by ID;

DIFF = FOREACH JOINED GENERATE (START.timestamp - END.timestamp); // or whatever;