每周调度oozie

s4chpxco 于 2021-06-03 发布在 Hadoop

关注(0)|答案(1)|浏览(423)

我刚开始学奥齐。希望这里有人能提供一些有用的建议。
下面是coordinator.xml的一个片段

<coordinator-app name="weeklyABCFacts" frequency="${coord:days(7)}"     start="${start}T00:00Z" end="${end}" timezone="CET" xmlns="uri:oozie:coordinator:0.1">
    <controls>
      <timeout>-1</timeout>
      <concurrency>1</concurrency>
      <execution>FIFO</execution>
    </controls>
<datasets>

  <dataset name="weekly-f_stats-flag" frequency="${coord:days(7)}" initial-instance="2013-07-01T00:00Z" timezone="CET">
        <uri-template>${nameNode}/warehouse/hive/f_stats/dt=${YEAR}W${WEEK}    </uri-template>
      </dataset>
    </datasets>
...
</coordinator-app>

我的问题涉及的部分在标签中。它们通常表示为： "...revenue_feed/${YEAR}/${MONTH}/${DAY}/${HOUR}..." 这部分可以用一周来表达吗？i、 e.下表中的最后一列。
问题的原因是，我们的日期表有一个名为“iso\u week”的字段列（例如，28，或其相应的日期范围是2013年7月8日至7月14日）。如下所示：

-----------------------------------+
|date_field |iso_week|iso_week_date|
-----------------------------------+
'2013-07-08', '28', '2013W28'
'2013-07-09', '28', '2013W28'
'2013-07-10', '28', '2013W28'
'2013-07-11', '28', '2013W28'
'2013-07-12', '28', '2013W28'
'2013-07-13', '28', '2013W28'
'2013-07-14', '28', '2013W28'

我希望这是足够清楚，否则，请让我知道，否则我可以更清楚。

hadoop mapreduce oozie oozie-coordinator

来源：https://stackoverflow.com/questions/17492474/scheduling-weekly-oozie

1条答案

按热度按时间

wmomyfyw1#

没有（在我正在查看的3.3.2源代码中），但是没有任何东西可以阻止您下载源代码并修改源代码 core/java/org/apache/oozie/coord/CoordELEvaluator.java 文件，特别是 createURIELEvaluator(String) 方法：

public static ELEvaluator createURIELEvaluator(String strDate) throws Exception {
    ELEvaluator eval = new ELEvaluator();
    Calendar date = Calendar.getInstance(DateUtils.getOozieProcessingTimeZone());
    // always???
    date.setTime(DateUtils.parseDateOozieTZ(strDate));
    eval.setVariable("YEAR", date.get(Calendar.YEAR));
    eval.setVariable("MONTH", make2Digits(date.get(Calendar.MONTH) + 1));
    eval.setVariable("DAY", make2Digits(date.get(Calendar.DAY_OF_MONTH)));
    eval.setVariable("HOUR", make2Digits(date.get(Calendar.HOUR_OF_DAY)));
    eval.setVariable("MINUTE", make2Digits(date.get(Calendar.MINUTE)));

    // add the following line:
    eval.setVariable("WEEK", make2Digits(date.get(Calendar.WEEK_OF_YEAR)));

    return eval;
}

然后您应该能够按照说明重新编译oozie
我要指出的是，你应该对周数和年数并不总是很好地结合在一起感到厌倦——例如，2013年第1周实际上从2012年开始：

Tue Dec 25 11:11:52 EST 2012 : 2012 W 52
Wed Dec 26 11:11:52 EST 2012 : 2012 W 52
Thu Dec 27 11:11:52 EST 2012 : 2012 W 52
Fri Dec 28 11:11:52 EST 2012 : 2012 W 52
Sat Dec 29 11:11:52 EST 2012 : 2012 W 52
Sun Dec 30 11:11:52 EST 2012 : 2012 W 1  <= Here's your problem
Mon Dec 31 11:11:52 EST 2012 : 2012 W 1
Tue Jan 01 11:11:52 EST 2013 : 2013 W 1  <= 'Fixed' from here
Wed Jan 02 11:11:52 EST 2013 : 2013 W 1
Thu Jan 03 11:11:52 EST 2013 : 2013 W 1
Fri Jan 04 11:11:52 EST 2013 : 2013 W 1
Sat Jan 05 11:11:52 EST 2013 : 2013 W 1
Sun Jan 06 11:11:52 EST 2013 : 2013 W 2
Mon Jan 07 11:11:52 EST 2013 : 2013 W 2
Tue Jan 08 11:11:52 EST 2013 : 2013 W 2

由以下测试片段生成：

@Test
public void testDates() {
    Calendar cal = Calendar.getInstance(TimeZone.getTimeZone("UTC"));

    cal.set(2012, 11, 25);

    for (int x = 0; x < 15; x++) {
        System.err.println(cal.getTime() + " : " + cal.get(Calendar.YEAR)
                + " W " + cal.get(Calendar.WEEK_OF_YEAR));

        cal.add(Calendar.DAY_OF_YEAR, 1);
    }
}

赞(0）回复(0）举报 2021-06-04

我来回答

每周调度oozie

1条答案

相关问题

热门标签

最新问答