mapside join和reduce-side join可以有不同的o/p吗

j8yoct9x  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(402)

下面的代码是目前在prod和运行每天,我试图优化它。我看到设置hive.auto.convert.join=false;正在做一个reduce-side连接,运行2.5小时,产生2324381条记录的行数。
如果我设置hive.auto.convert.join=true;然后它执行map-side连接,只运行20分钟,并生成5766529条记录的行计数。
我需要知道为什么行数不同,这是正确的吗?行数不同可以吗?我的印象是,无论发生哪个连接,o/p或查询都应该保持不变。
源数据在这两种情况下保持不变,并且除我正在更改的配置单元设置外,其他条件都相同。

INSERT OVERWRITE TABLE krish
SELECT 
    s.svcrqst_id
    s.svcrqst_lupdusr_id,
    s.svcrqst_lstupd_dts as svcrqst_lupdt,
    f.crsr_lupdt,
    s.svcrqst_crt_dts,
    s.svcrqst_asrqst_ind,
    s.svcrtyp_cd,
    s.svrstyp_cd,
    s.asdplnsp_psuniq_id as psuniq_id,
    s.svcrqst_rtnorig_in,
    s.cmpltyp_cd,
    s.catsrsn_cd,
    s.apealvl_cd,
    s.cnstnty_cd,
    s.svcrqst_vwasof_dt,
    f.crsr_master_claim_index,
    t.svcrqct_cds,
    r.sum_reason_cd,
    r.sum_reason

from
table1 s
left outer join
(
    select distinct
    lpad(trim(i_srtp_sr_sbtyp_cd), 3, '0') as i_srtp_sr_sbtyp_cd,
    lpad(trim(i_srtp_sr_typ_cd), 3, '0') as i_srtp_sr_typ_cd,
    sum_reason_cd,
    sum_reason
    from table2 
) r
on lpad(trim(s.svcrtyp_cd), 3, '0')=r.i_srtp_sr_typ_cd
and lpad(trim(s.svrstyp_cd), 3, '0')=r.i_srtp_sr_sbtyp_cd

left outer join  table3 f
on trim(s.svcrqst_id)=trim(f.crsr_sr_id)

left outer join table4 t
on t.svcrqst_id=s.svcrqst_id

where
( year(s.svcrqst_lstupd_dts)=${hiveconf:YEAR} and month(s.svcrqst_lstupd_dts)=${hiveconf:MONTH} and day(s.svcrqst_lstupd_dts)=${hiveconf:DAY} )
or
( year(f.crsr_lupdt)=${hiveconf:YEAR} and month(f.crsr_lupdt)=${hiveconf:MONTH} and day(f.crsr_lupdt)=${hiveconf:DAY} )
;
62lalag4

62lalag41#

在对我的数据做了更多的研究之后,我创建了所有具有相同列分区和嵌套的源表,并重新运行了我的hql。
这次map side join和reduce side join的行数都是相同的。
我认为在前面的查询中,由于数据没有分区,map端和reduce端的连接有不同的输出。

相关问题