Go语言 mit6.824 lab 1中作业计数测试-mapreduce,ioutil.ReadDir函数获取重复文件

fdbelqdn  于 2023-08-01  发布在  Go
关注(0)|答案(1)|浏览(167)

我的代码可以通过所有的测试,但不包括在mit6.824 lab 1-mapreduce中的作业计数测试。
输出如下:

*** Starting job count test.
--- map jobs ran incorrect number of times (10 != 8)
--- job count test: FAIL

字符串
我通过注解文件的其余部分分别运行test-mr.sh的作业计数部分,但发现我实际上有8个文件,而不是10个。
output file image
jobcount.go中job count插件的map和reduce函数如下:

func Map(filename string, contents string) []mr.KeyValue {
    me := os.Getpid()
    f := fmt.Sprintf("mr-worker-jobcount-%d-%d", me, count)
    count++
    err := ioutil.WriteFile(f, []byte("x"), 0666)
    if err != nil {
        panic(err)
    }
    time.Sleep(time.Duration(2000+rand.Intn(3000)) * time.Millisecond)
    return []mr.KeyValue{mr.KeyValue{"a", "x"}}
}

func Reduce(key string, values []string) string {
    files, err := ioutil.ReadDir(".")
    if err != nil {
        panic(err)
    }
    invocations := 0
    for _, f := range files {
            invocations++
    }
    return strconv.Itoa(invocations)
}


作业计数测试程序如下:

echo '***' Starting job count test.

rm -f mr-*

$TIMEOUT ../mrcoordinator ../pg*txt &
sleep 1

$TIMEOUT ../mrworker ../../mrapps/jobcount.so &
$TIMEOUT ../mrworker ../../mrapps/jobcount.so
$TIMEOUT ../mrworker ../../mrapps/jobcount.so &
$TIMEOUT ../mrworker ../../mrapps/jobcount.so

NT=`cat mr-out* | awk '{print $2}'`
if [ "$NT" -eq "8" ]
then
  echo '---' job count test: PASS
else
  echo '---' map jobs ran incorrect number of times "($NT != 8)"
  echo '---' job count test: FAIL
  failed_any=1
fi

wait


我的环境是wsl 2中的ubantu。
我在jobcount中添加了一些代码。开始

for _, f := range files {
        if strings.HasPrefix(f.Name(), "mr-worker-jobcount") {
            log.Printf("f: %v\n", f)
            invocations++
        }
    }


我发现我处理同一个文件很多次。
log file image
所以我改变了jobcount中的reduce函数。去删除重复的元素。

func Reduce(key string, values []string) string {
    files, err := ioutil.ReadDir(".")
    if err != nil {
        panic(err)
    }
    invocations := 0

    mp := map[string]struct{}{}

    for _, f := range files {
        if _, ok := mp[f.Name()]; strings.HasPrefix(f.Name(), "mr-worker-jobcount") && !ok {
            invocations++
            mp[f.Name()] = struct{}{}
        }
    }
    return strconv.Itoa(invocations)
}


那么我就能通过所有的测试
我测试和调试了很多次,但仍然不知道为什么会发生这种情况。
我想知道为什么ioutil.ReadDir函数的输出是错误的,以及如何在不改变jobcount.go的情况下通过测试。

wpcxdonn

wpcxdonn1#

我在wsl 2中也有同样的问题,原因可能是你在windows文件系统中运行测试,我在wsl 2的文件系统中复制测试(例如。/home/user/),一切都很好。

相关问题