mindformers.models.ChatGLM4Tokenizer
=========================================================================

.. image:: https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/website-images/r2.4.10/resource/_static/logo_source.svg
    :target: https://gitee.com/mindspore/mindformers/blob/r1.3.0/docs/api/api_python/models/mindformers.models.ChatGLM4Tokenizer.rst
    :alt: 查看源文件


.. py:class:: mindformers.models.ChatGLM4Tokenizer(vocab_file, clean_up_tokenization_spaces=False, encode_special_tokens=False, eos_token='<|endoftext|>', pad_token='<|endoftext|>', **kwargs)

    构造一个基于Byte-Pair-Encoding的ChatGLM4模型分词器。

    参数：
        - **vocab_file** (str) - 对应词表的路径。
        - **clean_up_tokenization_spaces** (bool) - 是否清理掉多余的空格。默认值： ``False`` 。
        - **encode_special_tokens** (bool) - 是否清理特殊token。默认值： ``False`` 。
        - **eos_token** (Union[str, tokenizers.AddedToken], 可选) - 序列结束标记。默认值： `"<|endoftext|>"` 。
        - **pad_token** (Union[str, tokenizers.AddedToken], 可选) - 用于使tokens数组大小相同以便进行批处理的特殊标记，然后将被注意力机制或损失计算忽略。默认值： `"<|endoftext|>"` 。
        - **kwargs** - 其它传递到Tokenizer基类的参数。

    返回：
        `ChatGLM4Tokenizer` 实例。