mindspore.dataset.sync_wait_for_dataset

mindspore.dataset.sync_wait_for_dataset(rank_id, rank_size, current_epoch)

等待所有的卡需要的数据集文件下载完成。

说明

需要配合 mindspore.dataset.OBSMindDataset 使用，建议在每次epoch开始前调用。

参数：

• rank_id (int) - 当前卡的逻辑序号。

• rank_size (int) - 卡的数量。

• current_epoch (int) - 训练时当前的epoch数。

样例：

>>> # Create a synchronization callback
>>> import mindspore as ms
>>> from mindspore.dataset import sync_wait_for_dataset
>>>
>>> class SyncForDataset(ms.Callback):
...     def __init__(self):
...         super(SyncForDataset, self).__init__()
...     def epoch_begin(self, run_context):
...         cb_params = run_context.original_args()
...         epoch_num = cb_params.cur_epoch_num
...         sync_wait_for_dataset(rank_id, rank_size, epoch_num)