文档反馈

问题文档片段

问题文档片段包含公式时,显示为空格。

提交类型
issue

有点复杂...

找人问问吧。

PR

小问题,全程线上修改...

一键搞定!

请选择提交类型

问题类型
规范和低错类

- 规范和低错类:

- 错别字或拼写错误,标点符号使用错误、公式错误或显示异常。

- 链接错误、空单元格、格式错误。

- 英文中包含中文字符。

- 界面和描述不一致,但不影响操作。

- 表述不通顺,但不影响理解。

- 版本号不匹配:如软件包名称、界面版本号。

易用性

- 易用性:

- 关键步骤错误或缺失,无法指导用户完成任务。

- 缺少主要功能描述、关键词解释、必要前提条件、注意事项等。

- 描述内容存在歧义指代不明、上下文矛盾。

- 逻辑不清晰,该分类、分项、分步骤的没有给出。

正确性

- 正确性:

- 技术原理、功能、支持平台、参数类型、异常报错等描述和软件实现不一致。

- 原理图、架构图等存在错误。

- 命令、命令参数等错误。

- 代码片段错误。

- 命令无法完成对应功能。

- 界面错误,无法指导操作。

- 代码样例运行报错、运行结果不符。

风险提示

- 风险提示:

- 对重要数据或系统存在风险的操作,缺少安全提示。

内容合规

- 内容合规:

- 违反法律法规,涉及政治、领土主权等敏感词。

- 内容侵权。

请选择问题类型

问题描述

点击输入详细问题描述,以帮助我们快速定位问题。

mindformers.models.LlamaForCausalLM

查看源文件
class mindformers.models.LlamaForCausalLM(config: LlamaConfig = None)[源代码]

在线计算并提供执行LLama训练时的损失值和逻辑值。

参数:
  • config (LlamaConfig, 可选) - LLama模型的配置。默认值: None

输入:
  • input_ids (Tensor) - 数据类型为Int64/Int32的词汇表中输入序列标记的索引,张量的形状为:(batch,seq_length)

  • labels (Tensor, 可选) - 数据类型为Int64/Int32的输入标签,张量的形状为:(batch,seq_length)。默认值: None

  • input_position (Tensor, 可选) - 输入的位置索引(在增量推理模式下)为数据类型为Int64/Int32的递增序列,张量的形状为:(batch,seq_length)。默认值: None

  • position_ids (Tensor, 可选) - 输入的位置id随数据类型呈递增序列Int64/Int32,张量的形状为:(batch,seq_length)。默认值: None

  • attention_mask (Tensor, 可选) - 输入句子填充掩码,其中0表示填充位置。数据类型Int64/Int32,张量的形状为:(batch,seq_length)。默认值: None

  • input_embeds (Tensor, 可选) - 数据类型Float32/Float16的输入嵌入。张量的形状为:(batch,seq_length,hiddensize)

  • init_reset (Tensor, 可选) - 数据类型为Bool,表示是否清除增量推理中之前的键参数和值参数。仅当use_past为True时有效。关于use_past的定义可以参考[GenerationConfig]()。张量的形状为:(1)。默认值: Tensor([True])

  • batch_valid_length (Tensor, 可选) - 数据类型为Int32,表示批次中每个序列已经计算过的长度。张量的形状为:(batchsize) 。默认值: None

  • batch_index (Tensor, 可选) - 弃用参数。将会在未来删除。默认值: None

  • zactivate_len (Tensor, 可选) - 弃用参数。将会在未来删除。默认值: None

  • block_tables (Tensor, 可选) - 数据类型为Int64,存储每个序列的映射表。默认值: None

  • slot_mapping (Tensor, 可选) - 数据类型为Int32,存储词元缓存的物理槽索引。默认值: None

  • prefix_keys_values (Tensor, 可选) - 弃用参数。将会在未来删除。默认值: None

  • llm_boost_inputs (Tensor, 可选) - 弃用参数。将会在未来删除。默认值: None

  • q_seq_lens (Tensor, 可选) - 在并行解码中,query可能会被扁平化。分页注意力算子需要使用 q_seq_lens 获取长度信息。默认值: None

输出:

Tensor类型。如果是训练模式,输出的Tensor包含在线损失值;如果是推理模式,输出的Tensor包含逻辑值;如果是评测模式,输出的Tensor包含逻辑值、词元、输入掩码。

样例:

>>> from mindformers.models.llama import LlamaConfig, LlamaForCausalLM
>>> import mindspore as ms
>>> ms.set_context(mode=0)
>>> config = LlamaConfig(batch_size=2)
>>> network = LlamaForCausalLM(config=config)
>>> type(network)
<class 'mindformers.models.llama.llama.LlamaForCausalLM'>
>>> from mindformers import LlamaForCausalLM
>>> network = LlamaForCausalLM.from_pretrained('llama2_7b')
>>> type(network)
<class 'mindformers.models.llama.llama.LlamaForCausalLM'>