比较与tf.data.Dataset.prefetch的功能差异

tf.data.Dataset.prefetch

tf.data.Dataset.prefetch(
    buffer_size
)

更多内容详见tf.data.Dataset.prefetch。

mindspore.dataset.config.set_prefetch_size

mindspore.dataset.config.set_prefetch_size(
    size
)

更多内容详见mindspore.dataset.config.set_prefetch_size。

使用方式

TensorFlow：Dataset 类内函数，用于设置当前数据管道缓存队列的大小。

MindSpore：全局配置函数，用于设置所有数据管道缓存队列的大小。

代码示例

# The following implements set_prefetch_size with MindSpore.
import mindspore.dataset as ds

ds.config.set_prefetch_size(2)

# The following implements prefetch with TensorFlow.
import tensorflow as tf

data = tf.constant([[1, 2], [3, 4], [5, 6], [7, 8], [9, 10]])
dataset = tf.data.Dataset.from_tensor_slices(data)
dataset = dataset.prefetch(2)