pytorch torchvision.datasets.ImageFolder FileNotFoundError:未找到类的有效文件,ipynb_checkpoints

qjp7pelc  于 2023-05-22  发布在  其他
关注(0)|答案(4)|浏览(486)

尝试在Colab中使用pytorch torch.datasets.ImageFolder加载训练数据。

transform = transforms.Compose([transforms.Resize(400),
                                transforms.ToTensor()])
dataset_path = 'ss/'
dataset = datasets.ImageFolder(root=dataset_path, transform=transform)
dataloader = torch.utils.data.DataLoader(dataset, batch_size=20)

我遇到了以下错误:

---------------------------------------------------------------------------
FileNotFoundError                         Traceback (most recent call last)
<ipython-input-27-7abcc1f434b1> in <module>()
      2                                 transforms.ToTensor()])
      3 dataset_path = 'ss/'
----> 4 dataset = datasets.ImageFolder(root=dataset_path, transform=transform)
      5 dataloader = torch.utils.data.DataLoader(dataset, batch_size=20)

3 frames
/usr/local/lib/python3.7/dist-packages/torchvision/datasets/folder.py in make_dataset(directory, class_to_idx, extensions, is_valid_file)
    100         if extensions is not None:
    101             msg += f"Supported extensions are: {', '.join(extensions)}"
--> 102         raise FileNotFoundError(msg)
    103 
    104     return instances

FileNotFoundError: Found no valid file for the classes .ipynb_checkpoints. Supported extensions are: .jpg, .jpeg, .png, .ppm, .bmp, .pgm, .tif, .tiff, .webp

我的数据集文件夹包含一个子文件夹,其中有许多png格式的训练图像,但ImageFolder仍然无法访问它们。

83qze16e

83qze16e1#

我在使用类似IPython笔记本的工具时遇到了同样的问题。
首先请检查您的dataset_path下是否有任何隐藏文件。如果您在Linux环境下,请使用ls -a
发生在我身上的情况是,我发现了一个名为.ipynb_checkpoints的隐藏文件,该文件与图像类子文件夹平行。我认为该文件会对PyTorch数据集造成混淆。我确定它没有用,所以我只是删除了它。然后数据集工作正常。
或者,如果您想简单地忽略该文件,您也可以尝试this

qnyhuwrf

qnyhuwrf2#

image文件夹中的文件需要放置在每个类的子文件夹中,如下所示:

root/dog/xxx.png
root/dog/xxy.png
root/dog/[...]/xxz.png

root/cat/123.png
root/cat/nsdf3.png
root/cat/[...]/asd932_.png

https://pytorch.org/vision/stable/datasets.html#torchvision.datasets.ImageFolder
你的ss目录中的文件是这样组织的吗?

pobjuy32

pobjuy323#

1-图像文件夹中的文件需要放置在每个类的子文件夹中(正如Sergii Dymchenko所说)
2-使用google colab时把绝对路径

l0oc07j2

l0oc07j24#

Google colaboratory的解决方案:
创建目录时,coollaboratory还会在其中创建.ipynb_checkpoints。
要解决这个问题,只需将其从包含图像目录的文件夹中删除(即列车的文件夹)。您需要运行:

!rm -R test/train/.ipynb_checkpoints
!ls test/train/ -a   #to make sure that the deletion has occurred

其中test/train/是数据集文件夹的路径

相关问题