参数

• raw_speech (np.ndarray、list[float]、list[np.ndarray]、list[list[float]]) — 需要填充的序列或序列批次。每个序列可以是 numpy 数组、浮点值列表、numpy 数组列表或浮点值列表的列表。必须是单声道音频，而非立体声，即每个时间步对应一个浮点数。
• truncation（bool，可选，默认为 True）— 启用截断，将长度超过 max_length 的输入序列截断为 max_length。
• pad_to_multiple_of (int, 可选, ，默认为 None）— 如果设置，则将序列填充为所提供值的倍数。

  这在启用 NVIDIA 硬件（计算能力 >= 7.5，即 Volta 架构）上的 Tensor Cores 使用时尤为有用，或者在 TPU 上使用时也特别有益，因为 TPU 在序列长度为 128 的倍数时性能更佳。

• return_attention_mask (bool, 可选) — 是否返回注意力掩码。如果保持默认值，则根据特定 feature_extractor 的默认设置返回注意力掩码。

  什么是注意力掩码？

  对于 CohereAsr 模型，在进行批量推理时，始终应传入 attention_mask，以避免出现细微的 bug。

• return_tensors (str 或 TensorType, 可选) — 如果设置，将返回张量而不是 Python 整数列表。可接受的值为：
  • 'tf'：返回 TensorFlow tf.constant 对象。
  • 'pt'：返回 PyTorch torch.Tensor 对象。
  • 'np'：返回 Numpy np.ndarray 对象。
• sampling_rate (int, 可选) — raw_speech 输入所使用的采样率。强烈建议在 forward 调用时传入 sampling_rate，以避免静默错误并支持自动语音识别流水线。
• padding_value (float，可选，默认为 0.0) — 用于填充 padding 值/向量的数值。
• do_normalize (bool，可选，默认为 False) — 是否对输入进行零均值单位方差归一化。归一化可以显著提升模型性能。
• device (str，可选，默认为 'cpu') — 指定在 _torch_extract_fbank_features 方法中计算音频信号的 log-mel 频谱图时所使用的设备。（例如，“cpu”、“cuda”）
• return_token_timestamps (bool, 可选, 默认值为 None) — 已弃用。请改用 return_attention_mask ，从中可以推断出帧数。

  是否返回输入 raw_speech 的帧数。 这些 num_frames 可供模型用于计算词级时间戳。

参数

• audio (Union[numpy.ndarray, torch.Tensor, collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence[torch.Tensor]]) — 要准备处理的音频或音频批次。每个音频可以是 NumPy 数组或 PyTorch 张量。 如果为 NumPy 数组/PyTorch 张量，每个音频的形状应为 (C, T)，其中 C 为通道数，T 为音频的采样长度。
• language (str) — 用于构建解码器提示的语言代码（例如 "en"、"es"、"fr"）。处理器会构建完整的解码器提示，并随音频特征一起返回 decoder_input_ids。
• text (Union[str, list[str], list[list[str]]]，可选) — 要编码的序列或序列批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果传入预分词输入，请设置 is_split_into_words=True，以避免与批量输入产生歧义。
• punctuation (bool，默认为 True) — 是否在解码器提示中启用标点符号。
• sampling_rate (int, 可选) — 输入音频的采样率，单位为 Hz。该值应与特征提取器所期望的采样率一致（默认为 16000 Hz）。如果提供了该参数，则会将其与处理器所期望的采样率进行校验，若两者不匹配则抛出错误。如果未提供，则会发出警告并假定使用默认采样率。
• return_mm_token_type_ids (bool, kwargs) — 是否返回多模态 token 类型 id，用于指示多模态占位符 token 的位置。
• return_text_replacement_offsets (bool, kwargs) — 是否返回每个多模态占位符及其替换内容的字符偏移量。
• return_tensors (str 或 TensorType, 可选) — 如果设置，将返回特定框架的张量。可接受的值为：
  • 'pt'：返回 PyTorch torch.Tensor 对象。
  • 'np'：返回 NumPy np.ndarray 对象。
• **kwargs (ProcessingKwargs，可选) — 每种模态（文本、图像、视频、音频）的额外处理选项。模型特定参数已在上方列出；有关支持参数的完整列表，请参阅 TypedDict 类。

参数

• input_features (torch.Tensor，形状为 (batch_size, audio_length)) — 原始语音波形的浮点值。可以通过将 .flac 或 .wav 音频文件加载为 list[float]、numpy.ndarray 或 torch.Tensor 类型的数组来获取原始语音波形，例如 使用 torchcodec 库（pip install torchcodec）或 soundfile 库（pip install soundfile）。要将该数组处理为 input_features，应使用 AutoFeatureExtractor 进行填充并将其转换为 torch.Tensor 类型的张量。
• attention_mask (torch.LongTensor 形状为 (batch_size, sequence_length), ，可选) — 用于避免对填充（padding）标记索引执行注意力机制的掩码。掩码值取自 [0, 1]：1 表示未屏蔽的标记，0 表示被屏蔽的标记。什么是注意力掩码？ [0, 1]:
  • 1 表示未被屏蔽的 token，
  • 对于被掩码的 token，值为 0。

  什么是注意力掩码？

• decoder_input_ids (torch.LongTensor 形状为 (batch_size, target_sequence_length), ，可选) — 解码器输入序列中各 token 在词汇表中的索引。可通过 AutoTokenizer 获取索引。详情请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。什么是解码器输入 ID？

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是解码器输入 ID？

• decoder_attention_mask（形状为 (batch_size, target_sequence_length) 的 torch.LongTensor，可选） — 用于避免对特定 token 索引执行注意力的掩码。默认情况下，会使用因果掩码，以确保模型只能查看之前的输入来预测未来。
• encoder_outputs (tuple[tuple[torch.Tensor]]，可选) — 元组由 (last_hidden_state，可选：hidden_states，可选：attentions) 组成 last_hidden_state 的形状为 (batch_size, sequence_length, hidden_size)，可选) 是编码器最后一层输出的隐藏状态序列。用于解码器的交叉注意力。
• past_key_values (~cache_utils.EncoderDecoderCache, 可选) — 预计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常由 past_key_values 在解码的先前阶段返回，当 use_cache=True 或 config.use_cache=True.

  仅允许将 Cache 实例作为输入，请参阅我们的 kv cache 指南。 如果未传入 past_key_values，则默认会初始化 DynamicCache。

  模型将输出与输入相同的缓存格式。

  如果使用了 past_key_values，用户应仅输入未处理的 input_ids（即未向该模型提供其过去键值状态的那些），其形状为 (batch_size, unprocessed_length)，而不是形状为 (batch_size, sequence_length) 的全部 input_ids。

• decoder_inputs_embeds (tuple[torch.Tensor] 形状为 (batch_size, target_sequence_length, hidden_size), 可选) — 可选地，除了传递 decoder_input_ids 之外，您还可以选择直接传递嵌入表示。如果使用了 past_key_values ，则只需输入最后一个 decoder_inputs_embeds （参见 past_key_values). 如果您希望对 decoder_input_ids 索引如何转换为对应的向量拥有比模型内部嵌入查找矩阵更多的控制权，这将非常有用。

  如果 decoder_input_ids 和 decoder_inputs_embeds 均未设置，decoder_inputs_embeds 将取 inputs_embeds 的值。

• decoder_position_ids (torch.LongTensor，形状为 (batch_size, target_sequence_length)) — 输入序列中每个 token 在位置嵌入中的位置索引。 用于计算直至 config.decoder_config.max_position_embeddings 的位置嵌入。
• use_cache (bool，可选) — 如果设置为 True，则会返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。

参数

• input_features (torch.Tensor，形状为 (batch_size, audio_length)) — 原始语音波形的浮点值。可以通过将 .flac 或 .wav 音频文件加载为 list[float]、numpy.ndarray 或 torch.Tensor 类型的数组来获取原始语音波形，例如 使用 torchcodec 库（pip install torchcodec）或 soundfile 库（pip install soundfile）。要将该数组处理为 input_features，应使用 AutoFeatureExtractor 进行填充并将其转换为 torch.Tensor 类型的张量。
• attention_mask (torch.LongTensor 形状为 (batch_size, sequence_length), ，可选) — 用于避免对填充（padding）标记索引执行注意力机制的掩码。掩码值取自 [0, 1]：1 表示未屏蔽的标记，0 表示被屏蔽的标记。什么是注意力掩码？ [0, 1]:
  • 1 表示未被屏蔽的 token，
  • 对于被掩码的 token，值为 0。

  什么是注意力掩码？

• decoder_input_ids (torch.LongTensor 形状为 (batch_size, target_sequence_length), ，可选) — 解码器输入序列中各 token 在词汇表中的索引。可通过 AutoTokenizer 获取索引。详情请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。什么是解码器输入 ID？

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是解码器输入 ID？

• decoder_attention_mask（形状为 (batch_size, target_sequence_length) 的 torch.LongTensor，可选） — 用于避免对特定 token 索引执行注意力的掩码。默认情况下，会使用因果掩码，以确保模型只能查看之前的输入来预测未来。
• encoder_outputs (tuple[tuple[torch.Tensor]]，可选) — 元组由 (last_hidden_state，可选：hidden_states，可选：attentions) 组成 last_hidden_state 的形状为 (batch_size, sequence_length, hidden_size)，可选) 是编码器最后一层输出的隐藏状态序列。用于解码器的交叉注意力。
• past_key_values (~cache_utils.EncoderDecoderCache, 可选) — 预计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常由 past_key_values 在解码的先前阶段返回，当 use_cache=True 或 config.use_cache=True.

  仅允许将 Cache 实例作为输入，请参阅我们的 kv cache 指南。 如果未传入 past_key_values，则默认会初始化 DynamicCache。

  模型将输出与输入相同的缓存格式。

  如果使用了 past_key_values，用户应仅输入未处理的 input_ids（即未向该模型提供其过去键值状态的那些），其形状为 (batch_size, unprocessed_length)，而不是形状为 (batch_size, sequence_length) 的全部 input_ids。

• decoder_inputs_embeds (tuple[torch.Tensor] 形状为 (batch_size, target_sequence_length, hidden_size), 可选) — 可选地，除了传递 decoder_input_ids 之外，您还可以选择直接传递嵌入表示。如果使用了 past_key_values ，则只需输入最后一个 decoder_inputs_embeds （参见 past_key_values). 如果您希望对 decoder_input_ids 索引如何转换为对应的向量拥有比模型内部嵌入查找矩阵更多的控制权，这将非常有用。

  如果 decoder_input_ids 和 decoder_inputs_embeds 均未设置，decoder_inputs_embeds 将取 inputs_embeds 的值。

• decoder_position_ids (torch.LongTensor，形状为 (batch_size, target_sequence_length)) — 输入序列中每个 token 在位置嵌入中的位置索引。 用于计算直至 config.decoder_config.max_position_embeddings 的位置嵌入。
• use_cache (bool，可选) — 如果设置为 True，则会返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。
• labels (torch.LongTensor，形状为 (batch_size, sequence_length)，可选) — 用于计算掩码语言建模损失的标签。索引值应在 [0, ..., config.vocab_size] 范围内，或为 -100（参见 input_ids 的文档字符串）。索引值设为 -100 的 token 将被忽略（即被掩码），损失仅针对标签位于 [0, ..., config.vocab_size] 范围内的 token 进行计算。