文章

PyTorch

PyTorch 深度学习框架。

PyTorch

DataLoader

导包示例:

1
from torch.utils.data import DataLoader

DataLoader的num_workers参数解析: num_workers用于指定加载数据集的子进程(这里也可称为worker进程、工作进程)数量。

num_workers说明
num_workers = 0只有主进程去加载batch数据;
数据加载速度会很慢。
num_workers > 0只有指定数量的worker进程去加载数据,主进程不参与
num_workers = 1只有一个worker进程用来加载batch数据,而主进程不参与数据加载。
数据加载速度会很慢。

增加num_works也同时会增加cpu内存的消耗。所以num_workers的值依赖于 batch size机器性能

设备

GPU

使用设备设置

本文由作者按照 CC BY 4.0 进行授权