Transformers documentation

Ingénierie des prompts

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Ingénierie des prompts

L’ingénierie de prompts, ou prompting, utilise le langage naturel pour améliorer les performances des grands modèles de langage (LLM) sur une variété de tâches. Un prompt peut orienter le modèle vers la génération d’une sortie souhaitée. Dans de nombreux cas, vous n’avez même pas besoin d’un modèle fine-tuned pour une tâche. Il vous suffit d’un bon prompt.

Essayez de demander à un LLM de classer du texte. Lors de la création d’un prompt, il est essentiel de fournir des instructions très précises sur la tâche et sur l’aspect que doit avoir le résultat.

from transformers import pipeline
import torch

pipeline = pipeline(task="text-generation", model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")
prompt = """Classify the text into neutral, negative or positive.
Text: This movie is definitely one of my favorite movies of its kind. The interaction between respectable and morally strong characters is an ode to chivalry and the honor code amongst thieves and policemen.
Sentiment:
"""

outputs = pipeline(prompt, max_new_tokens=10)
for output in outputs:
    print(f"Result: {output['generated_text']}")
Result: Classify the text into neutral, negative or positive. 
Text: This movie is definitely one of my favorite movies of its kind. The interaction between respectable and morally strong characters is an ode to chivalry and the honor code amongst thieves and policemen.
Sentiment:
Positive

Le défi réside dans la conception de prompts qui produisent les résultats attendus, car le langage est d’une nuance et d’une expressivité remarquables.

Ce guide présente les bonnes pratiques, les techniques et des exemples de prompt engineering pour résoudre des tâches de langage et de raisonnement.

Bonnes pratiques

  1. Essayez de choisir les modèles les plus récents pour obtenir les meilleures performances. Gardez à l’esprit que les LLM existent en deux variantes, base et instruction-tuned (ou chat).

    Les modèles de base excellent dans la complétion de texte à partir d'un prompt initial, mais ils sont moins performants pour suivre des instructions. Les modèles ajustés par instructions sont des versions spécifiques des modèles de base, entraînées sur des données instructionnelles ou conversationnelles. Cela rend les modèles ajustés par instructions plus adaptés au prompting.

    Les LLM modernes sont généralement des modèles uniquement décodeurs, mais il existe certains LLM encodeur-décodeur comme Flan-T5 ou BART qui peuvent être utilisés pour le prompting. Chargez ces modèles directement avec la classe AutoModelForSeq2SeqLM (au lieu d'utiliser Pipeline) et générez les sorties à partir du modèle lui-même.

  2. Commencez par un prompt court et simple, puis itérez pour obtenir de meilleurs résultats.

  3. Placez les instructions au début ou à la fin d’un prompt. Pour les prompts plus longs, les modèles peuvent appliquer des optimisations afin d’empêcher l’attention d’évoluer de manière quadratique, ce qui accorde davantage d’importance au début et à la fin du prompt.

  4. Séparez clairement les instructions du texte d'intérêt.

  5. Soyez précis et descriptif quant à la tâche et à la sortie souhaitée, en précisant par exemple son format, sa longueur, son style et sa langue. Évitez les descriptions et les instructions ambiguës.

  6. Les instructions doivent se concentrer sur « ce qu’il faut faire » plutôt que sur « ce qu’il ne faut pas faire ».

  7. Guidez le modèle pour qu'il génère la sortie correcte en écrivant le premier mot, voire la première phrase.

  8. Essayez d'autres techniques comme few-shot et chain-of-thought pour améliorer les résultats.

  9. Testez vos prompts avec différents modèles pour évaluer leur robustesse.

  10. Versionnez et suivez les performances de vos prompts.

Techniques

Rédiger un bon prompt à soi seul, également appelé prompting zéro-shot, peut ne pas suffire à obtenir les résultats souhaités. Il est parfois nécessaire d’essayer plusieurs techniques de prompting pour obtenir les meilleures performances.

Cette section aborde quelques techniques de prompting.

Prompting en peu d'exemples

Le few-shot prompting améliore la précision et les performances en incluant des exemples concrets de ce que le modèle doit générer à partir d'une entrée. Ces exemples explicites permettent au modèle de mieux comprendre la tâche et le format de sortie recherché. Expérimentez avec différents nombres d'exemples (2, 4, 8, etc.) pour observer l'impact sur les performances. L'exemple ci-dessous fournit au modèle 1 exemple (1-shot) du format de sortie (une date au format MM/JJ/AAAA) qu'il doit retourner.

from transformers import pipeline
import torch

pipeline = pipeline(model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")
prompt = """Text: The first human went into space and orbited the Earth on April 12, 1961.
Date: 04/12/1961
Text: The first-ever televised presidential debate in the United States took place on September 28, 1960, between presidential candidates John F. Kennedy and Richard Nixon.
Date:"""

outputs = pipeline(prompt, max_new_tokens=12, do_sample=True, top_k=10)
for output in outputs:
    print(f"Result: {output['generated_text']}")
# Result: Text: The first human went into space and orbited the Earth on April 12, 1961.
# Date: 04/12/1961
# Text: The first-ever televised presidential debate in the United States took place on September 28, 1960, between presidential candidates John F. Kennedy and Richard Nixon.
# Date: 09/28/1960

L’inconvénient du few-shot prompting est qu’il nécessite de créer des prompts plus longs, ce qui augmente le calcul et la latence. Il existe également une limite à la longueur des prompts. Enfin, un modèle peut apprendre des motifs non intentionnels à partir de vos exemples, et il peut ne pas fonctionner correctement sur des tâches de raisonnement complexes.

Pour améliorer le prompting en peu d’exemples pour les LLM modernes entraînés sur des instructions, utilisez le chat template spécifique du modèle. Ces modèles sont entraînés sur des jeux de données contenant des conversations en tours entre un « user » et un « assistant ». Structurer votre prompt de manière à s’aligner sur ce format peut améliorer les performances.

Structurez votre invite sous forme de conversation à tours et utilisez la méthode apply_chat_template pour la tokeniser et la formater.

from transformers import pipeline
import torch

pipeline = pipeline(model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")

messages = [
    {"role": "user", "content": "Text: The first human went into space and orbited the Earth on April 12, 1961."},
    {"role": "assistant", "content": "Date: 04/12/1961"},
    {"role": "user", "content": "Text: The first-ever televised presidential debate in the United States took place on September 28, 1960, between presidential candidates John F. Kennedy and Richard Nixon."}
]

prompt = pipeline.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

outputs = pipeline(prompt, max_new_tokens=12, do_sample=True, top_k=10)

for output in outputs:
    print(f"Result: {output['generated_text']}")

Bien que l’approche de base de few-shot prompting intégrait les exemples dans une seule chaîne de texte, le format de chat template offre les avantages suivants.

  • Le modèle peut avoir une compréhension potentiellement améliorée, car il est mieux à même de reconnaître le motif ainsi que les rôles attendus de l'entrée utilisateur et de la sortie de l'assistant.
  • Le modèle peut produire le format de sortie souhaité de manière plus cohérente, car il est structuré de la même manière que son entrée lors de l'entraînement.

Consultez toujours la documentation d’un modèle spécifique ajusté sur des instructions pour en savoir plus sur le format de leur modèle de chat, afin de pouvoir structurer vos prompts few-shot en conséquence.

Chaîne de pensée

La chaîne de pensée (CoT) est efficace pour générer des sorties plus cohérentes et mieux raisonnées en fournissant une série de prompts qui aident le modèle à « réfléchir » plus en profondeur à un sujet.

L’exemple ci-dessous fournit au modèle plusieurs invites pour travailler sur des étapes intermédiaires de raisonnement.

from transformers import pipeline
import torch

pipeline = pipeline(model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")
prompt = """Let's go through this step-by-step:
1. You start with 15 muffins.
2. You eat 2 muffins, leaving you with 13 muffins.
3. You give 5 muffins to your neighbor, leaving you with 8 muffins.
4. Your partner buys 6 more muffins, bringing the total number of muffins to 14.
5. Your partner eats 2 muffins, leaving you with 12 muffins.
If you eat 6 muffins, how many are left?"""

outputs = pipeline(prompt, max_new_tokens=20, do_sample=True, top_k=10)
for output in outputs:
    print(f"Result: {output['generated_text']}")
Result: Let's go through this step-by-step:
1. You start with 15 muffins.
2. You eat 2 muffins, leaving you with 13 muffins.
3. You give 5 muffins to your neighbor, leaving you with 8 muffins.
4. Your partner buys 6 more muffins, bringing the total number of muffins to 14.
5. Your partner eats 2 muffins, leaving you with 12 muffins.
If you eat 6 muffins, how many are left?
Answer: 6

Comme le few-shot, l'inconvénient du CoT est qu'il demande davantage d'efforts pour concevoir une série de prompts qui aident le modèle à raisonner sur une tâche complexe, et que la longueur des prompts augmente la latence.

Ajustement fin

Bien que le prompting soit une méthode puissante pour travailler avec les LLM, il existe des scénarios où un modèle affiné, voire l’affinage d’un modèle, donne de meilleurs résultats.

Voici quelques exemples de scénarios où un modèle affiné est pertinent.

  • Votre domaine est extrêmement différent de celui sur lequel le LLM a été pré-entraîné, et un prompting approfondi n’a pas produit les résultats souhaités.
  • Votre modèle doit fonctionner correctement dans une langue à faibles ressources.
  • Votre modèle doit être entraîné sur des données sensibles soumises à des exigences réglementaires strictes.
  • Vous utilisez un petit modèle en raison de contraintes de coût, de confidentialité, d’infrastructure ou d’autres facteurs.

Dans tous ces scénarios, assurez-vous de disposer d'un jeu de données spécifique au domaine suffisamment volumineux pour entraîner votre modèle, d'un temps et de ressources suffisants, et que le coût du fine-tuning en vaut la peine. Sinon, il est peut-être préférable d'optimiser votre prompt.

Exemples

Les exemples ci-dessous illustrent la sollicitation d'un LLM pour différentes tâches.

reconnaissance d'entités nommées
traduction
résumé
réponse aux questions
from transformers import pipeline
import torch

pipeline = pipeline(model="mistralai/Mistral-7B-Instruct-v0.1", dtype=torch.bfloat16, device_map="auto")
prompt = """Return a list of named entities in the text.
Text: The company was founded in 2016 by French entrepreneurs Clément Delangue, Julien Chaumond, and Thomas Wolf in New York City, originally as a company that developed a chatbot app targeted at teenagers.
Named entities:
"""

outputs = pipeline(prompt, max_new_tokens=50, return_full_text=False)
for output in outputs:
    print(f"Result: {output['generated_text']}")
Result:  [Clément Delangue, Julien Chaumond, Thomas Wolf, company, New York City, chatbot app, teenagers]
Update on GitHub