mindspore.dataset.config.set_prefetch_size
- mindspore.dataset.config.set_prefetch_size(size)
设置管道中线程的队列容量。
- 参数:
size (int) - 表示缓存队列的长度。
- 异常:
TypeError - size 不是int类型。
ValueError - size 小于等于0或 size 大于 INT32_MAX(2147483647) 时,线程的队列容量无效。
说明
用于预取的总内存可能会随着工作线程数量的增加而快速增长,所以当工作线程数量大于4时,每个工作线程的预取大小将减少。 每个工作线程在运行时预取大小将是 prefetchsize * (4 / num_parallel_workers )。
样例:
>>> # Set a new global configuration value for the prefetch size. >>> ds.config.set_prefetch_size(1000)