mindspore.dataset.config.set_error_samples_mode

mindspore.dataset.config.set_error_samples_mode(error_samples_mode)

设置在数据管道中处理错误样本的策略。

说明

  • 此错误样本特性仅适用于数据集管道中的Map操作。

  • 对于 ErrorSamplesMode.REPLACE 模式，将使用内部缓存中的其他样本。

  • 如果在多机设置中使用 ErrorSamplesMode.SKIP 模式，请手动确保每个分片的有效样本数是相同的（否则可能会导致挂起）。一种解决方法是通过Concat操作拼接一个样本全有效的数据集，然后采用Take操作填补跳过的错误样本数。

参数：

  • error_samples_mode (ErrorSamplesMode) - 处理错误样本的方法。

    • ErrorSamplesMode.RETURN：表示处理过程中遇到错误样本时将报错并抛出异常。

    • ErrorSamplesMode.REPLACE：表示处理过程中遇到错误样本时将使用正确的样本替换处理。

    • ErrorSamplesMode.SKIP：表示处理过程中遇到错误样本时将直接跳过此样本。

异常：

样例：

>>> import mindspore.dataset as ds
>>> ds.config.set_error_samples_mode(ds.config.ErrorSamplesMode.SKIP)