我的代码可以通过所有的测试,但不包括在mit6.824 lab 1-mapreduce中的作业计数测试。
输出如下:
*** Starting job count test.
--- map jobs ran incorrect number of times (10 != 8)
--- job count test: FAIL
字符串
我通过注解文件的其余部分分别运行test-mr.sh的作业计数部分,但发现我实际上有8个文件,而不是10个。
output file image
jobcount.go中job count插件的map和reduce函数如下:
func Map(filename string, contents string) []mr.KeyValue {
me := os.Getpid()
f := fmt.Sprintf("mr-worker-jobcount-%d-%d", me, count)
count++
err := ioutil.WriteFile(f, []byte("x"), 0666)
if err != nil {
panic(err)
}
time.Sleep(time.Duration(2000+rand.Intn(3000)) * time.Millisecond)
return []mr.KeyValue{mr.KeyValue{"a", "x"}}
}
func Reduce(key string, values []string) string {
files, err := ioutil.ReadDir(".")
if err != nil {
panic(err)
}
invocations := 0
for _, f := range files {
invocations++
}
return strconv.Itoa(invocations)
}
型
作业计数测试程序如下:
echo '***' Starting job count test.
rm -f mr-*
$TIMEOUT ../mrcoordinator ../pg*txt &
sleep 1
$TIMEOUT ../mrworker ../../mrapps/jobcount.so &
$TIMEOUT ../mrworker ../../mrapps/jobcount.so
$TIMEOUT ../mrworker ../../mrapps/jobcount.so &
$TIMEOUT ../mrworker ../../mrapps/jobcount.so
NT=`cat mr-out* | awk '{print $2}'`
if [ "$NT" -eq "8" ]
then
echo '---' job count test: PASS
else
echo '---' map jobs ran incorrect number of times "($NT != 8)"
echo '---' job count test: FAIL
failed_any=1
fi
wait
型
我的环境是wsl 2中的ubantu。
我在jobcount中添加了一些代码。开始
for _, f := range files {
if strings.HasPrefix(f.Name(), "mr-worker-jobcount") {
log.Printf("f: %v\n", f)
invocations++
}
}
型
我发现我处理同一个文件很多次。
log file image的
所以我改变了jobcount中的reduce函数。去删除重复的元素。
func Reduce(key string, values []string) string {
files, err := ioutil.ReadDir(".")
if err != nil {
panic(err)
}
invocations := 0
mp := map[string]struct{}{}
for _, f := range files {
if _, ok := mp[f.Name()]; strings.HasPrefix(f.Name(), "mr-worker-jobcount") && !ok {
invocations++
mp[f.Name()] = struct{}{}
}
}
return strconv.Itoa(invocations)
}
型
那么我就能通过所有的测试
我测试和调试了很多次,但仍然不知道为什么会发生这种情况。
我想知道为什么ioutil.ReadDir函数的输出是错误的,以及如何在不改变jobcount.go的情况下通过测试。
1条答案
按热度按时间wpcxdonn1#
我在wsl 2中也有同样的问题,原因可能是你在windows文件系统中运行测试,我在wsl 2的文件系统中复制测试(例如。/home/user/),一切都很好。