Mesurer une compétence en prompt engineering : critères, exercices et erreurs à éviter

« Rédigez un bon prompt. » La consigne paraît simple. Elle pose pourtant un problème majeur à celui qui doit évaluer une formation : qu’est-ce qu’un bon prompt ? Un texte long ? Une structure avec un rôle, un contexte et un format ? Une réponse convaincante au premier essai ? Aucun de ces signes ne suffit à démontrer une compétence professionnelle.

Un collaborateur peut écrire un prompt très détaillé et produire un résultat inutilisable. Un autre peut formuler une consigne courte, repérer une erreur, corriger sa méthode et livrer un document fiable. Lequel maîtrise réellement le prompt engineering ?

Le prompt engineering désigne moins la capacité à produire une formule parfaite que la capacité à piloter une interaction avec un système d’IA pour accomplir une tâche. Le collaborateur doit comprendre le besoin, choisir les informations utiles, préciser le résultat attendu, contrôler les données transmises, tester la réponse, détecter les défauts et décider si le livrable peut être utilisé. Le prompt n’est qu’une trace de cette démarche.

Cette distinction change toute l’évaluation. Si l’on note seulement la forme de la consigne, on récompense facilement la verbosité ou l’application mécanique d’un modèle. Si l’on observe le travail complet, on peut mesurer une compétence utile à l’entreprise : obtenir un résultat fiable, explicable et réutilisable dans des conditions maîtrisées.

Pourquoi la qualité apparente du prompt ne suffit pas

Un prompt bien écrit peut produire un mauvais résultat

Une consigne peut contenir un rôle, six contraintes et un format de sortie sans répondre au besoin réel. Par exemple, demander à l’IA de rédiger une analyse commerciale très structurée ne garantit ni la qualité des données, ni la justesse des calculs, ni la pertinence des recommandations. La structure améliore parfois la réponse, mais elle ne remplace ni le jugement métier ni la vérification.

Les documentations des principaux éditeurs convergent sur un point : il faut définir des critères de réussite et tester les sorties. Anthropic place la définition de critères mesurables et la construction d’évaluations au cœur du cycle de prompt engineering. Google rappelle de son côté que la conception des prompts est un processus itératif, fondé sur les résultats observés et non sur une recette immuable.

Une réponse élégante peut masquer une erreur

Les modèles génératifs produisent des textes fluides, y compris lorsque l’information est incomplète ou fausse. Une évaluation qui récompense la qualité rédactionnelle sans imposer de contrôle factuel mesure surtout la capacité du modèle à convaincre. Dans une tâche RH, juridique, financière, commerciale ou technique, ce biais peut transformer une démonstration impressionnante en risque opérationnel.

La compétence dépend du contexte métier

Un même collaborateur peut être autonome pour reformuler un e-mail interne et avoir besoin d’un encadrement strict pour analyser un contrat ou produire une recommandation financière. Le niveau attendu dépend donc de la tâche, du public, de la sensibilité des données, de l’impact d’une erreur et des moyens de vérification disponibles.

La Commission européenne suit cette logique contextuelle pour la littératie en IA. Son interprétation de l’article 4 de l’AI Act demande aux organisations de tenir compte des connaissances, de l’expérience, de la formation des personnes, du contexte d’utilisation et des risques du système. Elle précise aussi que le texte n’impose pas de mesurer individuellement un niveau déterminé ni d’obtenir un certificat. Évaluer reste néanmoins utile pour piloter une montée en compétences et démontrer que les actions choisies répondent aux usages réels. Pour le cadre réglementaire complet, voyez notre article sur ce que l’AI Act impose réellement aux entreprises.

Que faut-il réellement mesurer ?

Une grille robuste doit couvrir l’ensemble de la chaîne de travail. Huit dimensions permettent d’observer le prompt engineering sans le réduire à la formulation d’une consigne.

Dimension Question d’évaluation Preuve observable
— — —
1. Cadrage du besoin Le collaborateur comprend-il la tâche, le destinataire et la décision attendue ? Reformulation du besoin, questions posées, résultat attendu explicite.
2. Sélection du contexte Fournit-il les informations utiles sans surcharger ni exposer des données inutiles ? Corpus sélectionné, données retirées ou anonymisées, hypothèses signalées.
3. Construction de la consigne La demande précise-t-elle l’action, les contraintes, le format et les critères ? Prompt compréhensible, adapté à la tâche et exploitable par un tiers.
4. Pilotage de l’interaction Sait-il découper, itérer et corriger au lieu de recommencer au hasard ? Historique des versions, justification des modifications, arrêt au bon moment.
5. Vérification Contrôle-t-il les faits, calculs, sources, omissions et incohérences ? Checklist, rapprochement avec les sources, corrections documentées.
6. Sécurité et conformité Identifie-t-il les données sensibles et les usages nécessitant une validation ? Refus d’un partage risqué, anonymisation, choix d’un environnement autorisé.
7. Qualité du livrable Le résultat répond-il au besoin professionnel et aux critères annoncés ? Livrable exact, actionnable, adapté au public et au format de travail.
8. Transfert et réutilisation La méthode fonctionne-t-elle sur une tâche proche mais nouvelle ? Adaptation à un second cas, modèle documenté, limites expliquées.

Cette structure rejoint DigComp 3.0, qui définit la compétence numérique comme une combinaison de connaissances, d’aptitudes et d’attitudes. Le cadre intègre désormais l’IA de manière transversale et insiste notamment sur l’évaluation critique des informations, des sources et des processus qui les produisent. Une évaluation complète ne peut donc pas se limiter à la mémorisation d’une technique de prompting.

Une grille d’évaluation du prompt engineering sur 100 points

La pondération doit refléter les risques et la valeur du travail. La grille suivante convient à une tâche professionnelle courante, comme la rédaction d’une proposition, l’analyse d’un corpus ou la création d’une procédure. Elle peut être adaptée selon le métier.

Critère Points Indicateurs attendus
— — —
Cadrage du besoin 15 Objectif, destinataire, usage final, contraintes et questions manquantes correctement identifiés.
Choix des données et du contexte 15 Informations pertinentes, corpus traçable, absence de données inutiles ou non autorisées.
Qualité de la consigne 15 Tâche explicite, format adapté, critères de réussite et limites clairement formulés.
Stratégie d’itération 10 Décomposition pertinente, corrections ciblées, comparaison de variantes si nécessaire.
Vérification et esprit critique 20 Faits, calculs, sources, cohérence et complétude contrôlés selon un protocole explicite.
Sécurité, confidentialité et responsabilité 10 Risques reconnus, données protégées, intervention humaine positionnée au bon endroit.
Qualité du livrable professionnel 10 Résultat utilisable, précis, adapté à la cible et conforme aux attentes.
Transfert et documentation 5 Méthode réutilisable, choix justifiés, limites et conditions d’emploi documentées.

Interpréter le score

  • 0 à 39 points — pratique fragile : la personne dépend fortement du modèle et ne sécurise pas suffisamment la tâche.
  • 40 à 59 points — pratique guidée : elle peut accomplir des tâches simples avec une trame, une checklist et une validation.
  • 60 à 79 points — autonomie sur les usages maîtrisés : elle cadre, itère et vérifie correctement les tâches de faible ou moyenne criticité.
  • 80 à 100 points — maîtrise confirmée : elle adapte sa méthode, traite les risques, justifie ses choix et transfère la démarche à de nouveaux cas.

Règles éliminatoires possibles. Quel que soit le score, l’évaluateur peut considérer la compétence non démontrée si le participant transmet sciemment des données confidentielles dans un outil non autorisé, utilise une source inventée sans la signaler, masque une erreur critique ou diffuse un livrable à fort impact sans la validation prévue.

Construire une évaluation comparable et équitable

Donner la même mission, le même corpus et les mêmes contraintes

Comparer deux participants n’a de sens que s’ils disposent des mêmes informations. L’épreuve doit préciser le contexte, le public, le délai, les données autorisées, le format du livrable et les critères de réussite. L’évaluateur évite de noter la connaissance d’informations auxquelles un candidat n’avait pas accès.

Conserver les traces de la démarche

Le livrable final ne montre pas comment le participant a travaillé. Il faut demander un dossier de preuve léger :

  • la reformulation du besoin ;
  • le ou les prompts utilisés ;
  • une ou deux versions intermédiaires pertinentes ;
  • la checklist de vérification ;
  • les corrections apportées ;
  • une courte justification des décisions.

Cette trace permet de distinguer une réussite obtenue par hasard d’une méthode reproductible. Elle évite aussi d’attribuer toute la qualité du résultat au collaborateur alors qu’elle peut dépendre du modèle, de la version de l’outil ou d’un exemple fourni.

Tester plusieurs sorties lorsque la stabilité compte

Une IA générative ne produit pas toujours la même réponse. Pour un usage récurrent, un seul essai peut donner une impression trompeuse. L’évaluateur peut demander au participant de tester la consigne sur trois variantes du même cas : autre client, autre format, donnée manquante ou objection supplémentaire. La compétence se voit dans la capacité à anticiper les écarts et à maintenir le niveau de qualité.

Adapter la pondération au risque

Pour un post interne, la qualité rédactionnelle peut peser davantage. Pour une synthèse réglementaire, la traçabilité des sources et la prudence doivent dominer. Pour une analyse de données, on renforce les contrôles de calcul et de cohérence. Le prompt engineering n’est jamais une compétence abstraite : il sert une activité dont les conséquences orientent l’évaluation.

Quatre exercices concrets pour évaluer la compétence

Exercice 1 — Transformer une demande vague en brief exploitable

Situation : un manager demande : « Fais un e-mail convaincant pour relancer nos clients. » Le participant reçoit une fiche entreprise incomplète et doit préparer la mission avant de générer.

Travail attendu :

  1. identifier les informations manquantes ;
  2. poser cinq questions prioritaires au commanditaire ;
  3. formuler les critères de réussite ;
  4. rédiger un prompt adapté à l’une des réponses possibles ;
  5. expliquer ce qui devra être vérifié avant l’envoi.

Ce que l’exercice mesure : cadrage, refus de combler arbitrairement les vides, adaptation au public et capacité à définir la qualité avant la génération. Un participant compétent ne se précipite pas sur la rédaction.

Exercice 2 — Produire une synthèse à partir d’un corpus fermé

Situation : le participant reçoit trois documents internes et doit préparer une note de décision d’une page pour un comité de direction. L’IA ne doit utiliser que ces sources.

Contraintes : distinguer faits, hypothèses et informations absentes ; rattacher chaque chiffre à sa source ; signaler les contradictions ; proposer deux options sans inventer de donnée.

Preuves demandées : prompt initial, règle de citation, première sortie, tableau de vérification et note finale corrigée.

Ce que l’exercice mesure : sélection du contexte, capacité à ancrer la réponse, vigilance face aux hallucinations et qualité de la vérification. Les recommandations du NIST sur l’IA générative accordent une place centrale aux processus de test, d’évaluation, de vérification et de validation. L’entreprise doit donc regarder la procédure de contrôle, pas seulement le document livré.

Exercice 3 — Réagir à un risque de confidentialité

Situation : une consigne contient les noms, coordonnées, rémunérations et commentaires managériaux de plusieurs salariés. Le participant doit préparer une analyse RH à l’aide d’un assistant non approuvé par l’entreprise.

Réponse attendue : interrompre la saisie, identifier les données qui ne doivent pas être transmises, proposer une version agrégée ou anonymisée, vérifier l’outil autorisé et maintenir une validation humaine. L’exercice peut se poursuivre avec un jeu de données fictif.

Ce que l’exercice mesure : jugement, sécurité et capacité à modifier le processus. Une personne qui rédige techniquement un excellent prompt mais ignore le risque ne peut pas être considérée comme autonome.

Exercice 4 — Transférer la méthode vers une tâche nouvelle

Situation : après avoir travaillé sur un e-mail commercial, le participant doit utiliser la même démarche pour construire une procédure interne ou analyser des retours clients.

Travail attendu : adapter le cadrage, modifier les critères, sélectionner un format différent, anticiper les risques propres au nouveau cas et expliquer les éléments du premier prompt qui ne doivent pas être copiés.

Ce que l’exercice mesure : transfert, compréhension des principes et autonomie. La personne ne doit pas seulement réutiliser un « prompt magique » ; elle doit reconstruire une méthode adaptée.

Exemple commenté : évaluer un prompt de reporting commercial

Version insuffisante

« Analyse ces ventes et fais-moi un bon rapport avec des recommandations. »

Cette demande ne précise ni la période, ni la décision attendue, ni les colonnes fiables, ni le destinataire, ni les calculs à effectuer. Si la sortie semble correcte, l’évaluateur ne sait pas si elle répond au besoin.

Version structurée

« Tu assistes le responsable commercial. À partir du fichier joint, compare le chiffre d’affaires du troisième trimestre à celui du deuxième trimestre par gamme et par région. Signale les données manquantes. Présente les écarts en valeur et en pourcentage dans un tableau, puis propose trois hypothèses à vérifier. Ne présente aucune hypothèse comme un fait. Termine par quatre questions à poser aux responsables régionaux. »

Cette version est plus exploitable, mais elle ne prouve toujours pas la compétence. Le participant doit vérifier les totaux, la définition des périodes, les cellules vides, les doublons et la cohérence des pourcentages. Il doit aussi examiner si les recommandations reposent réellement sur les données. La note finale dépend donc autant du contrôle que de la formulation.

Questions de débrief

  • Pourquoi avez-vous choisi ces indicateurs ?
  • Quelles informations manquaient avant le premier essai ?
  • Quelle erreur de la sortie aurait pu entraîner une mauvaise décision ?
  • Qu’avez-vous modifié entre les deux versions et pour quelle raison ?
  • Dans quelles conditions ce prompt pourrait-il être réutilisé ?

Les erreurs les plus fréquentes dans l’évaluation

1. Noter la longueur du prompt

Un prompt long peut contenir des contradictions, des détails inutiles ou des contraintes impossibles. Une consigne courte peut être excellente si le contexte est déjà disponible. Il faut noter la précision utile et non le nombre de lignes.

2. Imposer une formule unique

Les cadres « rôle, contexte, tâche, contraintes, format » constituent de bons repères pédagogiques. Ils ne doivent pas devenir un barème mécanique. Certaines tâches exigent des exemples, un corpus, des outils, une séquence de sous-tâches ou un protocole d’évaluation ; d’autres peuvent être résolues directement.

3. Confondre maîtrise de l’outil et compétence métier

Connaître les menus de ChatGPT, Claude ou Gemini ne garantit pas que l’on sache analyser un besoin client ou interpréter un tableau financier. L’évaluation doit croiser deux dimensions : le pilotage de l’IA et la qualité de la décision professionnelle.

4. Utiliser un cas trop simple

Une consigne de reformulation sans contrainte ni risque produit peu de preuves. Un bon cas comporte une ambiguïté, une information manquante, une contrainte de format, un point à vérifier et une décision à prendre.

5. Changer d’outil ou de modèle entre les participants

Les résultats peuvent varier selon le modèle, sa version, les fonctions disponibles et les réglages. Pour une évaluation sommative, il faut autant que possible standardiser l’environnement ou documenter précisément les différences.

6. Ne conserver que le résultat final

Sans trace, il est impossible de savoir si le participant a détecté une erreur ou si le modèle a simplement produit une bonne réponse. Le dossier de preuve doit rester léger, mais il doit montrer les décisions essentielles.

7. Laisser l’IA attribuer seule la note

Un modèle peut aider à repérer des écarts dans une grille, mais il ne doit pas être l’unique évaluateur. Sa note dépend du prompt d’évaluation, de la formulation des critères et de ses propres biais. L’évaluateur humain conserve la décision, surtout pour la sécurité, la pertinence métier et les cas limites.

8. Évaluer sans seconde tentative

La compétence se manifeste aussi par la capacité à apprendre d’un retour. Une bonne épreuve prévoit un feedback court, puis une nouvelle tentative. L’amélioration entre les deux versions constitue une preuve précieuse de compréhension et de transfert.

Une séquence pédagogique de 2 heures avant l’évaluation finale

Nos parcours IA suivent une logique « comprendre, produire, vérifier et réutiliser ». Cette progression peut être appliquée à une séance d’entraînement courte.

Temps Activité Production
— — —
0–15 min Diagnostic individuel sur un cas simple, sans modèle fourni. Prompt initial et résultat brut.
15–35 min Analyse collective des écarts : besoin, contexte, contraintes, format, critères. Liste des défauts observables.
35–55 min Démonstration commentée d’une démarche complète. Trame de cadrage et checklist.
55–85 min Pratique guidée sur un corpus et un livrable métier. Deux versions et journal de corrections.
85–105 min Relecture croisée à partir de la grille sur 100 points. Feedback factuel d’un pair.
105–120 min Nouvelle tentative et engagement de transfert. Version améliorée et tâche d’application au poste.

Après la séance, le manager peut proposer une tâche réelle de faible risque dans les sept jours. Le collaborateur dépose le brief, les traces utiles, le livrable et sa vérification. Ce travail permet de confirmer que la compétence quitte la salle de formation et s’installe dans l’activité.

Mesurer la progression sans créer une usine à gaz

Le tableau de bord L&D peut rester simple. Cinq indicateurs suffisent souvent :

  • score moyen par dimension, afin d’identifier le besoin de remédiation ;
  • taux de réussite sur une tâche nouvelle, pour mesurer le transfert ;
  • taux d’erreurs critiques détectées avant diffusion ;
  • temps nécessaire pour atteindre un livrable validé ;
  • part des productions accompagnées d’une preuve de vérification.

Le gain de temps ne doit pas être isolé. Une réduction de dix minutes n’a aucune valeur si elle augmente les erreurs, les reprises ou le risque de divulgation. Le bon indicateur combine efficacité, qualité et maîtrise du risque.

Modèle de consigne prêt à adapter

Mission : à partir du dossier fourni, produisez [livrable] destiné à [public] afin de permettre [décision ou action].

Contraintes : utilisez uniquement les sources autorisées ; signalez les informations manquantes ; protégez les données sensibles ; respectez [format, longueur, ton et délai].

Travail demandé : reformulez le besoin, définissez vos critères de réussite, choisissez les éléments de contexte, construisez et testez votre prompt, vérifiez la sortie, corrigez-la puis justifiez vos principales décisions.

Preuves à remettre : prompt(s), une version intermédiaire utile, checklist de vérification, livrable final et note réflexive de dix lignes.

Évaluation : grille sur 100 points, avec attention particulière à la vérification, à la sécurité et à la transférabilité.

FAQ sur l’évaluation du prompt engineering

Faut-il demander un prompt parfait dès le premier essai ?

Non. Dans un usage professionnel, l’itération fait partie du travail. Il faut observer si la personne analyse la première sortie, modifie les bons paramètres et s’arrête lorsque les critères sont atteints.

Peut-on évaluer tous les métiers avec la même grille ?

La structure générale peut être commune, mais les pondérations et les cas doivent changer. Une équipe marketing, un service RH et un contrôleur de gestion n’utilisent ni les mêmes données, ni les mêmes preuves, ni le même niveau de risque.

Un test à choix multiple suffit-il ?

Il peut vérifier certaines connaissances : définitions, risques ou bonnes pratiques. Il ne démontre pas la capacité à cadrer une tâche, piloter l’IA, détecter une erreur et livrer un résultat professionnel. Une mise en situation est indispensable.

Faut-il évaluer séparément ChatGPT, Claude et Gemini ?

Pour une compétence transférable, il vaut mieux évaluer d’abord les principes communs. Des modules complémentaires peuvent ensuite vérifier les fonctions propres à l’environnement de travail retenu par l’entreprise.

Comment limiter la triche pendant l’évaluation ?

L’usage de l’IA fait partie de l’épreuve ; l’enjeu n’est donc pas de l’empêcher. Demandez plutôt les traces, une justification orale, une variante imprévue et une seconde tâche. Une personne qui a simplement copié un prompt aura du mal à expliquer et à transférer sa méthode.

L’AI Act oblige-t-il l’entreprise à faire passer ce test ?

Non. La Commission précise que l’article 4 n’impose ni mesure individuelle obligatoire d’un niveau de connaissances, ni certificat spécifique. L’entreprise doit toutefois soutenir la littératie en IA en tenant compte de ses usages, de ses publics et de ses risques. Une évaluation pratique constitue un moyen de piloter cette démarche, mais elle doit rester proportionnée.

À quelle fréquence faut-il réévaluer ?

Une évaluation initiale, une preuve de transfert quelques semaines après la formation et un contrôle lors d’un changement important d’outil ou de processus forment une base raisonnable. Les équipes exposées à des usages sensibles peuvent nécessiter des exercices plus fréquents.

Qu’est-ce que le prompt engineering ?

Le prompt engineering consiste à formuler et à améliorer les requêtes adressées à un LLM (large language model) pour obtenir une réponse finale plus précise : fournir des exemples (few-shot prompting), décomposer le raisonnement (chain of thought), préciser le format de sortie. En entreprise, on évalue moins la formule que la capacité à piloter l’intelligence artificielle, à vérifier la réponse et à protéger les données.

Quelle différence entre un script et un prompt ?

Un script est une suite d’instructions exécutées de façon déterministe ; un prompt est une requête en langage naturel donnée à un modèle d’IA, dont la réponse peut varier d’un essai à l’autre. C’est pourquoi on évalue la méthode (cadrage, vérification, itération) plus que le texte du prompt.

Évaluer les compétences IA de vos équipes

Marmignon Brothers construit des parcours IA à partir de vos tâches, de vos outils et de vos risques. Nous pouvons adapter cette grille à vos métiers, concevoir les mises en situation, former les évaluateurs et organiser une validation en situation de travail. Découvrez notre formation IA en entreprise, voyez quelle formation IA choisir pour votre entreprise ou demandez un diagnostic et une évaluation des compétences IA.

Sources et références

Français·English·Español