mindspore.safetensors_to_ckpt

查看源文件
mindspore.safetensors_to_ckpt(file_path, save_path=None, name_map=None, file_name_regex=None, processes_num=1)[源代码]

将 safetensors 文件转换为 MindSpore 的 checkpoint 格式并保存到 save_path。 safetensors 是 Huggingface 推出的一种可靠、易移植的机器学习模型存储格式，用于安全地存储Tensor，而且存储速度较快（零拷贝）。

说明

多进程设置数量与主机规模有关，不推荐设置太大，否则容易导致卡死。

参数：

  • file_path (str) - 包含 safetensors 文件的目录路径或单个 safetensors 文件 (.safetensors) 的路径。

  • save_path (str, 可选) - 保存 checkpoint 文件的目录路径。默认值：None。

  • name_map (dict, 可选) - 映射原始参数名到新参数名的字典。默认值：None。

  • file_name_regex (str, 可选) - 用于匹配需要转换的文件的正则表达式。默认值：None。

  • processes_num (int, 可选) - 控制并行处理的进程数量。默认值： 1。

异常：

  • ValueError - 如果输入路径无效，save_path 不是目录，或 file_path 不以 '.safetensors' 结尾。

支持平台：

Ascend GPU CPU

样例：

>>> import mindspore as ms
>>> ms.safetensors_to_ckpt("./safetensors_save_path")
>>> ms.safetensors_to_ckpt("./safetensors_save_path/rank0/checkpoint_0.safetensors")
>>> ms.safetensors_to_ckpt("./safetensors_save_path/rank0/checkpoint_0.safetensors", "./new_path/")
>>> namemap = {"lin.weight":"new_name"}
>>> ms.safetensors_to_ckpt("./safetensors_save_path/rank0/checkpoint_0.safetensors", "./new_path/", namemap)