PyTorch
PyTorch 深度学习框架。
PyTorch
DataLoader
导包示例:
1
from torch.utils.data import DataLoader
DataLoader的num_workers
参数解析: num_workers用于指定加载数据集的子进程(这里也可称为worker进程、工作进程)数量。
num_workers | 说明 |
---|---|
num_workers = 0 | 只有主进程去加载batch数据; 数据加载速度会很慢。 |
num_workers > 0 | 只有指定数量的worker进程去加载数据,主进程不参与 |
num_workers = 1 | 只有一个worker进程用来加载batch数据,而主进程不参与数据加载。 数据加载速度会很慢。 |
增加num_works
也同时会增加cpu内存的消耗。所以num_workers的值依赖于 batch size 和 机器性能。
设备
GPU
使用设备设置
本文由作者按照 CC BY 4.0 进行授权