控制输出长度的参数

• max_length (int, 可选) — 建议使用 max_new_tokens 来控制模型生成的 token 数量。 max_length 仅用于向后兼容。
• max_new_tokens (int, 可选) — 要生成的最大 token 数量，忽略提示词中的 token 数量。
• min_length (int，可选) — 要生成的序列的最小长度。对应于输入提示的长度 + min_new_tokens。如果同时设置了 min_new_tokens，则其效果会被 min_new_tokens 覆盖。
• min_new_tokens (int, 可选) — 要生成的最小 token 数量，忽略提示词中的 token 数量。
• early_stopping (bool 或 str，可选) — 控制基于 beam 的方法（如 beam-search）的停止条件。它接受以下值： True，当存在 num_beams 个完整候选项时立即停止生成；False，应用启发式方法，当找到更优候选项的可能性极低时停止生成； "never"，beam search 过程仅在无法找到更优候选项时才停止（标准 beam search 算法）。
• max_time (float, 可选) — 允许计算运行的最长时间（以秒为单位）。在分配的时间用尽后，generation 仍会完成当前这一轮处理。
• stop_strings（str 或 list[str]，可选）— 一个字符串或字符串列表，如果模型输出了这些内容，则终止生成。

控制所使用生成策略的参数

• do_sample (bool) — 是否使用采样；否则使用贪心解码。
• num_beams (int, 可选) — 束搜索的束数量。1 表示不使用束搜索。
• use_mtp — (bool)： 如果模型支持，是否使用 Multi-Token Prediction (MTP)。

控制缓存的参数

• use_cache (bool) — 是否让模型使用过去最后的关键/值注意力（如果该模型支持）来加速解码。
• cache_implementation (str, 可选) — 将在 generate, 中实例化的缓存类名称，用于加速解码。可能的取值如下：
  • "dynamic"：DynamicCache
  • "static"：StaticCache
  • "offloaded": DynamicCache(offloaded=True)
  • "offloaded_static": StaticCache(offloaded=True)
  • "quantized"：QuantizedCache

  如果未指定，我们将使用模型的默认缓存（通常是 DynamicCache）。有关更多信息，请参阅我们的 缓存文档。

• cache_config (dict，可选，默认为 None) — 键值缓存类中使用的参数可以通过 cache_config 传入。
• max_cache_len (int, 可选) — 仅在使用静态缓存（cache_implementation 设置为 "static" 或 "offloaded_static"）时生效。 将缓存预分配为此长度，而不是当前调用的 max_length。请将其一次性设置为预期中最大的调用长度，这样当重复调用 generate() 且提示词更长或 max_new_tokens 更大（不超过此上限）时，可以复用同一缓存，而无需触发重新分配和 torch.compile 重新编译。

用于操作模型输出 logits 的参数

• temperature (float, 可选) — 用于调节下一个 token 概率的值。该值在模型的 generation_config.json 文件中设置。如果未设置，默认值为 1.0
• top_k (int, 可选) — 用于 top-k 过滤时保留的最高概率词表 token 数量。该值在模型的 generation_config.json 文件中设置。如果未设置，默认值为 50。
• top_p (float, 可选) — 如果设置为小于 1 的浮点数，则仅保留概率之和达到或超过 top_p 的最小最可能 token 集合用于生成。该值在模型的 generation_config.json 文件中设置。如果未设置，默认值为 1.0
• min_p (float, 可选) — 最小 token 概率，该值会按最可能 token 的概率进行缩放。它必须是 0 到 1 之间的值。典型值在 0.01-0.2 范围内，其选择性类似于将 top_p 设置在 0.99-0.8 范围内（使用与常规 top_p 值相反的值）。
• top_h (float, 可选) — 熵预算缩放因子，用于控制在采样过程中保留分布中多少熵。 取值必须在 0 到 1 之间。在每一步中，token 按概率排序，并保留最小的 token 前缀，使其重归一化熵小于或等于完整分布熵的 top_h 倍。 较小的值（例如 0.2–0.5）会产生更集中、更确定性的输出，而接近 1.0 的值则允许更多的随机性和多样性。典型取值范围在 0.3–0.6 之间。
• typical_p (float, 可选) — 局部典型性衡量了在已生成部分文本的条件下，预测下一个目标 token 的条件概率与预测下一个随机 token 的期望条件概率之间的相似程度。如果设置为小于 1 的 float 值，则保留概率之和达到 typical_p 或更高的、最局部典型的 token 集合用于生成。有关更多详细信息，请参阅 这篇论文。
• epsilon_cutoff (float, 可选) — 如果设置为严格介于 0 和 1 之间的浮点数，则仅会采样条件概率大于 epsilon_cutoff 的 token。论文中建议的取值范围在 3e-4 到 9e-4 之间，具体取决于模型的大小。有关更多详细信息，请参阅 Truncation Sampling as Language Model Desmoothing。
• eta_cutoff (float, 可选) — Eta 采样是局部典型采样（locally typical sampling）与 epsilon 采样的混合。如果设置为严格介于 0 和 1 之间的浮点数，则仅当某个 token 大于 eta_cutoff 或 sqrt(eta_cutoff) * exp(-entropy(softmax(next_token_logits))) 时，该 token 才会被考虑。后一项在直观上表示期望的下一个 token 概率，并按 sqrt(eta_cutoff) 进行缩放。论文中建议的取值范围为 3e-4 到 2e-3，具体取决于模型的大小。有关更多详细信息，请参阅 Truncation Sampling as Language Model Desmoothing。
• repetition_penalty (float，可选) — 重复惩罚参数。1.0 表示无惩罚。有关更多详细信息，请参阅这篇论文。
• encoder_repetition_penalty (float, 可选) — encoder_repetition_penalty 的参数。对不在原始输入中的序列施加指数惩罚。1.0 表示无惩罚。
• length_penalty (float, 可选) — 用于基于 beam 的生成过程中，对序列长度施加的指数惩罚。它作为指数作用于序列长度，进而用于除以序列的得分。由于得分是序列的对数似然（即为负值），length_penalty > 0.0 会促进生成更长的序列，而 length_penalty < 0.0 则鼓励生成更短的序列。
• no_repeat_ngram_size (int, 可选) — 如果设置为大于 0 的整数，则所有该大小的 n-gram 只能出现一次。
• bad_words_ids（list[list[int]]，可选）— 不允许生成的 token id 列表的列表。有关更多文档和示例，请参阅 NoBadWordsLogitsProcessor。
• renormalize_logits (bool) — 是否在对所有 logits 处理器（包括自定义处理器）应用之后重新归一化 logits。强烈建议将此标志设置为 True，因为搜索算法假设分数 logits 已归一化，但某些 logits 处理器会破坏归一化。
• forced_bos_token_id (int，可选，默认为 model.config.forced_bos_token_id) — 在 decoder_start_token_id 之后强制作为首个生成 token 的 token id。对于像 mBART 这样的多语言模型非常有用，因为首个生成的 token 需要是目标语言的 token。
• forced_eos_token_id (int or list[int], *optional*, defaults to model.config.forced_eos_token_id) -- The id of the token to force as the last generated token when max_length` is reached. Optionally, use a list to set multiple end-of-sequence tokens.
• remove_invalid_values (bool) — 是否移除模型可能产生的 nan 和 inf 输出，以防止生成方法崩溃。请注意，使用 remove_invalid_values 可能会降低生成速度。
• exponential_decay_length_penalty (tuple(int, float)，可选) — 此元组在生成一定数量的 token 后，添加一个指数增长的长度惩罚。该元组应包含：(start_index, decay_factor)，其中 start_index 指示惩罚开始的位置，decay_factor 表示指数衰减的因子
• suppress_tokens (list[int], 可选) — 生成时将被抑制的 token 列表。SuppressTokens logit 处理器会将它们的 log probs 设置为 -inf，从而确保它们不会被采样。
• begin_suppress_tokens (list[int], 可选) — 在生成开始时将被抑制的 token 列表。SuppressBeginTokens logit 处理器会将它们的 log prob 设置为 -inf，从而避免对其进行采样。
• sequence_bias (dict[tuple[int], float]，可选) — 一个字典，将 token 序列映射到其偏置项。正偏置会增加该序列被选中的概率，而负偏置则相反。有关更多文档和示例，请参阅 SequenceBiasLogitsProcessor。
• token_healing (bool) — 通过用相应的扩展替换提示的尾部 token 来修复它们。 这可以提升受贪心分词偏差影响的提示的补全质量。
• guidance_scale (float, 可选) — 无分类器引导（CFG）的引导尺度。将 guidance_scale > 1 设置为大于 1 即可启用 CFG。 较高的引导尺度会促使模型生成与输入提示词关联更紧密的样本，但通常以牺牲生成质量为代价。
• watermarking_config (BaseWatermarkingConfig 或 dict，可选) — 用于通过向随机选定的“绿色”token 集合添加微小偏差，从而为模型输出添加水印的参数。有关更多详细信息，请参阅 SynthIDTextWatermarkingConfig 和 WatermarkingConfig 的文档。如果以 Dict 形式传入，内部会将其转换为 WatermarkingConfig。

定义 generate 输出变量的参数

• num_return_sequences (int, 可选) — 批次中每个元素独立计算并返回的序列数量。
• output_attentions (bool) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量中的 attentions。
• output_hidden_states (bool) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量中的 hidden_states。
• output_scores (bool) — 是否返回预测分数。有关更多详细信息，请参阅返回张量中的 scores。
• output_logits (bool) — 是否返回未经处理的预测 logit 分数。有关更多详细信息，请参阅返回张量中的 logits。
• return_dict_in_generate (bool) — 是否返回 ModelOutput，而不是仅返回生成的序列。若要返回生成缓存（当 use_cache 为 True 时）或可选输出（参见以 output_ 开头的标志），必须将此标志设置为 True。

可在生成时使用的特殊标记

• pad_token_id (int，可选) — padding 令牌的 id。
• bos_token_id (int，可选) — 序列起始令牌的 id。
• eos_token_id (Union[int, list[int]], 可选) — 序列结束标记的 id。可选地，使用列表来设置多个 序列结束标记。

仅适用于编码器-解码器模型的生成参数

• encoder_no_repeat_ngram_size (int, 可选) — 如果设置为大于 0 的整数，则 encoder_input_ids 中出现的所有该大小的 n-gram 都不能出现在 decoder_input_ids 中。
• decoder_start_token_id (int 或 list[int]，可选) — 如果编码器-解码器模型使用与 bos 不同的 token 开始解码，则指定该 token 的 id，或一个长度为 batch_size 的列表。指定列表可为批次中的每个元素设置不同的起始 id（例如，在一个批次中包含不同目标语言的多语言模型）。

专用于助手生成的生成参数

• is_assistant (bool) — 模型是否为助手（草稿）模型。
• num_assistant_tokens (int, 可选) — 定义在每次迭代中，由 assistant 模型生成、随后交由 target 模型校验的 speculative tokens 数量。num_assistant_tokens 的值越大，生成过程就越具 speculative 特性：如果 assistant 模型表现良好，可以获得更大的加速效果；如果 assistant 模型需要大量修正，则加速效果会较小。
• num_assistant_tokens_schedule (str, 可选) — 定义在推理过程中更改最大助手 token 数的调度策略。
  • "heuristic"：当所有推测 token 均正确时，将 num_assistant_tokens 增加 2，否则减少 1。num_assistant_tokens 的值在多次使用相同 assistant 模型的生成调用中保持不变。
  • "heuristic_transient"：与 "heuristic" 相同，但每次生成调用后，num_assistant_tokens 会重置为其初始值。
  • "constant"：num_assistant_tokens 在生成过程中保持不变
• assistant_confidence_threshold (float, 可选) — 助手模型的置信度阈值。如果助手模型对当前 token 预测的置信度低于此阈值，即使尚未达到 speculative tokens（由 num_assistant_tokens 定义）的数量，助手模型也会停止当前的 token 生成迭代。助手模型的置信度阈值会在推测迭代过程中动态调整，以减少不必要的 draft 和 target 前向传播次数，并倾向于避免假阴性。 assistant_confidence_threshold 的值在使用相同助手模型的多次生成调用中保持不变。 它是 Dynamic Speculation Lookahead Accelerates Speculative Decoding of Large Language Models https://huggingface.co/papers/2405.04304 中动态推测前瞻的无监督版本。
• prompt_lookup_num_tokens (int, 可选) — 要作为候选 token 输出的 token 数量。
• max_matching_ngram_size (int, 可选) — 用于提示中匹配的 ngram 最大尺寸。如果未提供，默认为 2。
• assistant_early_exit(int, optional) — 如果设置为正整数，将使用模型的 early exit 作为 assistant。仅适用于支持 early exit 的模型（即中间层的 logits 可以被 LM head 解释的模型）。
• assistant_lookbehind(int, optional) — 如果设置为正整数，重新编码过程将额外考虑最后 assistant_lookbehind 个 assistant token，以正确对齐 token。此参数仅可用于在推测解码中使用不同 tokenizer 的场景。 有关更多详细信息，请参阅此 博客。
• target_lookbehind(int, 可选) — 如果设置为正整数，重新编码过程将额外考虑最后 target_lookbehind 个目标 token，以正确对齐 token。此参数仅可用于在推测解码中使用不同 tokenizer 的场景。 有关更多详细信息，请参阅此 博客。
• assistant_ensemble_weight (float, 可选) — 在推测解码中启用静态集成验证。如果设置为 (0.0, 1.0) 范围内的值，验证器将针对混合分布 w * p_target + (1 - w) * q_draft 而非 p_target 来接受 token，以可控的分布偏差换取更高的接受率。默认值为 None，可保持解码无损。要求 assistant 模型返回 logits，因此与 prompt lookup decoding 不兼容。
• speculation_type (str, 可选) — 请求的推测类型。可接受的值为 dflash。

与性能和编译相关的参数

• compile_config (CompileConfig, 可选) — 如果使用可编译缓存，此参数控制 generate 如何 compile 前向传播以加快推理速度。
• disable_compile (bool) — 是否禁用前向传播的自动编译。当满足特定条件（包括使用可编译缓存）时，会自动触发编译。如果您发现需要使用此标志，请提交一个 issue。