«Redacte un buen prompt». La consigna parece sencilla. Plantea, sin embargo, un problema mayor a quien debe evaluar una formación: ¿qué es un buen prompt? ¿Un texto largo? ¿Una estructura con un rol, un contexto y un formato? ¿Una respuesta convincente al primer intento? Ninguno de estos signos basta para demostrar una competencia profesional.
Un colaborador puede escribir un prompt muy detallado y obtener un resultado inutilizable. Otro puede formular una consigna corta, detectar un error, corregir su método y entregar un documento fiable. ¿Quién domina realmente el prompt engineering?
El prompt engineering designa menos la capacidad de producir una fórmula perfecta que la de dirigir una interacción con un sistema de IA para cumplir una tarea. El colaborador debe comprender la necesidad, elegir la información útil, precisar el resultado esperado, controlar los datos transmitidos, probar la respuesta, detectar los defectos y decidir si el entregable puede utilizarse. El prompt es solo una traza de ese proceso.
Esta distinción cambia toda la evaluación. Si solo se valora la forma de la consigna, se recompensa fácilmente la verbosidad o la aplicación mecánica de una plantilla. Si se observa el trabajo completo, se puede medir una competencia útil para la empresa: obtener un resultado fiable, explicable y reutilizable en condiciones controladas.
Por qué la calidad aparente del prompt no basta
Un prompt bien escrito puede producir un mal resultado
Una consigna puede contener un rol, seis restricciones y un formato de salida sin responder a la necesidad real. Por ejemplo, pedir a la IA que redacte un análisis comercial muy estructurado no garantiza ni la calidad de los datos, ni la exactitud de los cálculos, ni la pertinencia de las recomendaciones. La estructura mejora a veces la respuesta, pero no sustituye ni el criterio profesional ni la verificación.
Las documentaciones de los principales editores convergen en un punto: hay que definir criterios de éxito y probar las salidas. Anthropic sitúa la definición de criterios medibles y la construcción de evaluaciones en el centro del ciclo de prompt engineering. Google recuerda, por su parte, que el diseño de prompts es un proceso iterativo, basado en los resultados observados y no en una receta inmutable.
Una respuesta elegante puede ocultar un error
Los modelos generativos producen textos fluidos, incluso cuando la información es incompleta o falsa. Una evaluación que recompensa la calidad de redacción sin imponer un control factual mide sobre todo la capacidad del modelo para convencer. En una tarea de RR. HH., jurídica, financiera, comercial o técnica, este sesgo puede transformar una demostración impresionante en un riesgo operativo.
La competencia depende del contexto profesional
Un mismo colaborador puede ser autónomo para reformular un correo interno y necesitar una supervisión estricta para analizar un contrato o producir una recomendación financiera. El nivel esperado depende, por tanto, de la tarea, del público, de la sensibilidad de los datos, del impacto de un error y de los medios de verificación disponibles.
La Comisión Europea sigue esta lógica contextual para la alfabetización en IA. Su interpretación del artículo 4 de la AI Act pide a las organizaciones que tengan en cuenta los conocimientos, la experiencia y la formación de las personas, el contexto de uso y los riesgos del sistema. Precisa también que el texto no impone medir individualmente un nivel determinado ni obtener un certificado. Evaluar sigue siendo, no obstante, útil para dirigir un aumento de competencias y demostrar que las acciones elegidas responden a los usos reales. Para el marco normativo completo, consulte nuestro artículo sobre lo que la AI Act impone realmente a las empresas.
¿Qué hay que medir realmente?
Una rúbrica robusta debe cubrir toda la cadena de trabajo. Ocho dimensiones permiten observar el prompt engineering sin reducirlo a la formulación de una consigna.
| Dimensión | Pregunta de evaluación | Prueba observable |
|---|---|---|
| — | — | — |
| 1. Encuadre de la necesidad | ¿Comprende el colaborador la tarea, el destinatario y la decisión esperada? | Reformulación de la necesidad, preguntas planteadas, resultado esperado explícito. |
| 2. Selección del contexto | ¿Aporta la información útil sin sobrecargar ni exponer datos innecesarios? | Corpus seleccionado, datos retirados o anonimizados, hipótesis señaladas. |
| 3. Construcción de la consigna | ¿Precisa la petición la acción, las restricciones, el formato y los criterios? | Prompt comprensible, adaptado a la tarea y utilizable por un tercero. |
| 4. Dirección de la interacción | ¿Sabe dividir, iterar y corregir en lugar de empezar de nuevo al azar? | Historial de versiones, justificación de las modificaciones, parada en el momento oportuno. |
| 5. Verificación | ¿Controla los hechos, los cálculos, las fuentes, las omisiones y las incoherencias? | Lista de comprobación, cotejo con las fuentes, correcciones documentadas. |
| 6. Seguridad y cumplimiento | ¿Identifica los datos sensibles y los usos que requieren validación? | Rechazo de un intercambio arriesgado, anonimización, elección de un entorno autorizado. |
| 7. Calidad del entregable | ¿Responde el resultado a la necesidad profesional y a los criterios anunciados? | Entregable exacto, accionable, adaptado al público y al formato de trabajo. |
| 8. Transferencia y reutilización | ¿Funciona el método en una tarea próxima pero nueva? | Adaptación a un segundo caso, plantilla documentada, límites explicados. |
Esta estructura es coherente con DigComp 3.0, que define la competencia digital como una combinación de conocimientos, aptitudes y actitudes. El marco integra ahora la IA de manera transversal e insiste, en particular, en la evaluación crítica de la información, las fuentes y los procesos que las producen. Una evaluación completa no puede, por tanto, limitarse a la memorización de una técnica de prompting.
Una rúbrica de evaluación del prompt engineering sobre 100 puntos
La ponderación debe reflejar los riesgos y el valor del trabajo. La rúbrica siguiente conviene a una tarea profesional habitual, como la redacción de una propuesta, el análisis de un corpus o la creación de un procedimiento. Puede adaptarse según el oficio.
| Criterio | Puntos | Indicadores esperados |
|---|---|---|
| — | — | — |
| Encuadre de la necesidad | 15 | Objetivo, destinatario, uso final, restricciones y preguntas pendientes correctamente identificados. |
| Elección de los datos y del contexto | 15 | Información pertinente, corpus trazable, ausencia de datos innecesarios o no autorizados. |
| Calidad de la consigna | 15 | Tarea explícita, formato adaptado, criterios de éxito y límites claramente formulados. |
| Estrategia de iteración | 10 | Descomposición pertinente, correcciones específicas, comparación de variantes si es necesario. |
| Verificación y espíritu crítico | 20 | Hechos, cálculos, fuentes, coherencia y exhaustividad controlados según un protocolo explícito. |
| Seguridad, confidencialidad y responsabilidad | 10 | Riesgos reconocidos, datos protegidos, intervención humana situada en el lugar adecuado. |
| Calidad del entregable profesional | 10 | Resultado utilizable, preciso, adaptado al destinatario y conforme con lo esperado. |
| Transferencia y documentación | 5 | Método reutilizable, elecciones justificadas, límites y condiciones de uso documentados. |
Interpretar la puntuación
- De 0 a 39 puntos: práctica frágil. La persona depende mucho del modelo y no asegura suficientemente la tarea.
- De 40 a 59 puntos: práctica guiada. Puede realizar tareas sencillas con un esquema, una lista de comprobación y una validación.
- De 60 a 79 puntos: autonomía en los usos dominados. Encuadra, itera y verifica correctamente las tareas de criticidad baja o media.
- De 80 a 100 puntos: dominio confirmado. Adapta su método, trata los riesgos, justifica sus elecciones y transfiere el enfoque a casos nuevos.
Reglas eliminatorias posibles. Sea cual sea la puntuación, el evaluador puede considerar la competencia no demostrada si el participante transmite a sabiendas datos confidenciales a una herramienta no autorizada, utiliza una fuente inventada sin señalarlo, oculta un error crítico o difunde un entregable de alto impacto sin la validación prevista.
Construir una evaluación comparable y equitativa
Dar la misma misión, el mismo corpus y las mismas restricciones
Comparar a dos participantes solo tiene sentido si disponen de la misma información. La prueba debe precisar el contexto, el público, el plazo, los datos autorizados, el formato del entregable y los criterios de éxito. El evaluador evita puntuar el conocimiento de informaciones a las que un candidato no tenía acceso.
Conservar las trazas del proceso
El entregable final no muestra cómo ha trabajado el participante. Hay que pedir un expediente de pruebas ligero:
- la reformulación de la necesidad;
- el prompt o los prompts utilizados;
- una o dos versiones intermedias pertinentes;
- la lista de comprobación de la verificación;
- las correcciones realizadas;
- una breve justificación de las decisiones.
Esta traza permite distinguir un éxito obtenido por azar de un método reproducible. Evita también atribuir toda la calidad del resultado al colaborador cuando puede depender del modelo, de la versión de la herramienta o de un ejemplo proporcionado.
Probar varias salidas cuando la estabilidad importa
Una IA generativa no siempre produce la misma respuesta. Para un uso recurrente, un solo intento puede dar una impresión engañosa. El evaluador puede pedir al participante que pruebe la consigna en tres variantes del mismo caso: otro cliente, otro formato, un dato ausente o una objeción adicional. La competencia se ve en la capacidad de anticipar las desviaciones y mantener el nivel de calidad.
Adaptar la ponderación al riesgo
Para una publicación interna, la calidad de redacción puede pesar más. Para una síntesis normativa, la trazabilidad de las fuentes y la prudencia deben dominar. Para un análisis de datos, se refuerzan los controles de cálculo y de coherencia. El prompt engineering nunca es una competencia abstracta: sirve a una actividad cuyas consecuencias orientan la evaluación.
Cuatro ejercicios concretos para evaluar la competencia
Ejercicio 1: transformar una petición vaga en un briefing aprovechable
Situación: un mando pide: «Haz un correo convincente para reactivar a nuestros clientes». El participante recibe una ficha de empresa incompleta y debe preparar la misión antes de generar.
Trabajo esperado:
- identificar la información que falta;
- plantear cinco preguntas prioritarias al solicitante;
- formular los criterios de éxito;
- redactar un prompt adaptado a una de las respuestas posibles;
- explicar qué deberá verificarse antes del envío.
Lo que mide el ejercicio: encuadre, negativa a rellenar arbitrariamente los vacíos, adaptación al público y capacidad de definir la calidad antes de la generación. Un participante competente no se lanza a redactar.
Ejercicio 2: producir una síntesis a partir de un corpus cerrado
Situación: el participante recibe tres documentos internos y debe preparar una nota de decisión de una página para un comité de dirección. La IA solo debe utilizar esas fuentes.
Restricciones: distinguir hechos, hipótesis e informaciones ausentes; vincular cada cifra a su fuente; señalar las contradicciones; proponer dos opciones sin inventar ningún dato.
Pruebas solicitadas: prompt inicial, regla de citación, primera salida, tabla de verificación y nota final corregida.
Lo que mide el ejercicio: selección del contexto, capacidad de anclar la respuesta, vigilancia ante las alucinaciones y calidad de la verificación. Las recomendaciones del NIST sobre IA generativa dan un lugar central a los procesos de prueba, evaluación, verificación y validación. La empresa debe, por tanto, mirar el procedimiento de control, no solo el documento entregado.
Ejercicio 3: reaccionar ante un riesgo de confidencialidad
Situación: una consigna contiene los nombres, datos de contacto, remuneraciones y comentarios de gestión de varios empleados. El participante debe preparar un análisis de RR. HH. con un asistente no aprobado por la empresa.
Respuesta esperada: interrumpir la introducción, identificar los datos que no deben transmitirse, proponer una versión agregada o anonimizada, verificar la herramienta autorizada y mantener una validación humana. El ejercicio puede continuar con un conjunto de datos ficticio.
Lo que mide el ejercicio: juicio, seguridad y capacidad de modificar el proceso. Una persona que redacta técnicamente un prompt excelente pero ignora el riesgo no puede considerarse autónoma.
Ejercicio 4: transferir el método a una tarea nueva
Situación: tras trabajar en un correo comercial, el participante debe utilizar el mismo planteamiento para construir un procedimiento interno o analizar comentarios de clientes.
Trabajo esperado: adaptar el encuadre, modificar los criterios, seleccionar un formato distinto, anticipar los riesgos propios del nuevo caso y explicar qué elementos del primer prompt no deben copiarse.
Lo que mide el ejercicio: transferencia, comprensión de los principios y autonomía. La persona no debe limitarse a reutilizar un «prompt mágico»; debe reconstruir un método adaptado.
Ejemplo comentado: evaluar un prompt de informe comercial
Versión insuficiente
«Analiza estas ventas y hazme un buen informe con recomendaciones».
Esta petición no precisa ni el período, ni la decisión esperada, ni las columnas fiables, ni el destinatario, ni los cálculos que efectuar. Si la salida parece correcta, el evaluador no sabe si responde a la necesidad.
Versión estructurada
«Eres el asistente del responsable comercial. A partir del archivo adjunto, compara la facturación del tercer trimestre con la del segundo por gama y por región. Señala los datos que faltan. Presenta las diferencias en valor y en porcentaje en una tabla y propón después tres hipótesis que verificar. No presentes ninguna hipótesis como un hecho. Termina con cuatro preguntas para los responsables regionales».
Esta versión es más aprovechable, pero sigue sin probar la competencia. El participante debe verificar los totales, la definición de los períodos, las celdas vacías, los duplicados y la coherencia de los porcentajes. Debe también examinar si las recomendaciones se basan realmente en los datos. La nota final depende, por tanto, tanto del control como de la formulación.
Preguntas de debriefing
- ¿Por qué eligió estos indicadores?
- ¿Qué información faltaba antes del primer intento?
- ¿Qué error de la salida podría haber llevado a una mala decisión?
- ¿Qué modificó entre las dos versiones y por qué?
- ¿En qué condiciones podría reutilizarse este prompt?
Los errores más frecuentes en la evaluación
1. Puntuar la longitud del prompt
Un prompt largo puede contener contradicciones, detalles inútiles o restricciones imposibles. Una consigna corta puede ser excelente si el contexto ya está disponible. Hay que puntuar la precisión útil y no el número de líneas.
2. Imponer una fórmula única
Los marcos «rol, contexto, tarea, restricciones, formato» son buenas referencias pedagógicas. No deben convertirse en un baremo mecánico. Algunas tareas exigen ejemplos, un corpus, herramientas, una secuencia de subtareas o un protocolo de evaluación; otras pueden resolverse directamente.
3. Confundir el dominio de la herramienta con la competencia profesional
Conocer los menús de ChatGPT, Claude o Gemini no garantiza que se sepa analizar una necesidad del cliente o interpretar una tabla financiera. La evaluación debe cruzar dos dimensiones: la dirección de la IA y la calidad de la decisión profesional.
4. Utilizar un caso demasiado sencillo
Una consigna de reformulación sin restricción ni riesgo produce pocas pruebas. Un buen caso incluye una ambigüedad, una información que falta, una restricción de formato, un punto que verificar y una decisión que tomar.
5. Cambiar de herramienta o de modelo entre los participantes
Los resultados pueden variar según el modelo, su versión, las funciones disponibles y los ajustes. Para una evaluación sumativa, hay que estandarizar en lo posible el entorno o documentar con precisión las diferencias.
6. Conservar solo el resultado final
Sin trazas, es imposible saber si el participante ha detectado un error o si el modelo ha producido simplemente una buena respuesta. El expediente de pruebas debe seguir siendo ligero, pero debe mostrar las decisiones esenciales.
7. Dejar que la IA asigne sola la nota
Un modelo puede ayudar a detectar desviaciones en una rúbrica, pero no debe ser el único evaluador. Su nota depende del prompt de evaluación, de la formulación de los criterios y de sus propios sesgos. El evaluador humano conserva la decisión, sobre todo en seguridad, pertinencia profesional y casos límite.
8. Evaluar sin un segundo intento
La competencia se manifiesta también en la capacidad de aprender de un comentario. Una buena prueba prevé una retroalimentación corta y después un nuevo intento. La mejora entre las dos versiones es una prueba valiosa de comprensión y de transferencia.
Una secuencia pedagógica de 2 horas antes de la evaluación final
Nuestros itinerarios de IA siguen una lógica «comprender, producir, verificar y reutilizar». Esta progresión puede aplicarse a una sesión de entrenamiento corta.
| Tiempo | Actividad | Producción |
|---|---|---|
| — | — | — |
| 0–15 min | Diagnóstico individual en un caso sencillo, sin modelo proporcionado. | Prompt inicial y resultado en bruto. |
| 15–35 min | Análisis colectivo de las desviaciones: necesidad, contexto, restricciones, formato, criterios. | Lista de defectos observables. |
| 35–55 min | Demostración comentada de un planteamiento completo. | Esquema de encuadre y lista de comprobación. |
| 55–85 min | Práctica guiada sobre un corpus y un entregable profesional. | Dos versiones y registro de correcciones. |
| 85–105 min | Revisión cruzada a partir de la rúbrica de 100 puntos. | Retroalimentación factual de un par. |
| 105–120 min | Nuevo intento y compromiso de transferencia. | Versión mejorada y tarea de aplicación en el puesto. |
Después de la sesión, el mando puede proponer una tarea real de bajo riesgo en los siete días siguientes. El colaborador entrega el briefing, las trazas útiles, el entregable y su verificación. Este trabajo permite confirmar que la competencia sale de la sala de formación y se instala en la actividad.
Medir la progresión sin crear una burocracia
El cuadro de mando de L&D puede seguir siendo sencillo. Cinco indicadores suelen bastar:
- puntuación media por dimensión, para identificar la necesidad de remediación;
- tasa de éxito en una tarea nueva, para medir la transferencia;
- tasa de errores críticos detectados antes de la difusión;
- tiempo necesario para alcanzar un entregable validado;
- parte de las producciones acompañadas de una prueba de verificación.
La ganancia de tiempo no debe aislarse. Una reducción de diez minutos no tiene ningún valor si aumenta los errores, las repeticiones o el riesgo de divulgación. El buen indicador combina eficacia, calidad y control del riesgo.
Modelo de consigna listo para adaptar
Misión: a partir del expediente proporcionado, produzca [entregable] destinado a [público] para permitir [decisión o acción].
Restricciones: utilice únicamente las fuentes autorizadas; señale la información que falta; proteja los datos sensibles; respete [formato, longitud, tono y plazo].
Trabajo solicitado: reformule la necesidad, defina sus criterios de éxito, elija los elementos de contexto, construya y pruebe su prompt, verifique la salida, corríjala y justifique después sus principales decisiones.
Pruebas que entregar: prompt(s), una versión intermedia útil, lista de comprobación de la verificación, entregable final y una nota reflexiva de diez líneas.
Evaluación: rúbrica de 100 puntos, con especial atención a la verificación, la seguridad y la transferibilidad.
FAQ sobre la evaluación del prompt engineering
¿Hay que exigir un prompt perfecto al primer intento?
No. En un uso profesional, la iteración forma parte del trabajo. Hay que observar si la persona analiza la primera salida, modifica los parámetros adecuados y se detiene cuando se alcanzan los criterios.
¿Se puede evaluar a todos los oficios con la misma rúbrica?
La estructura general puede ser común, pero las ponderaciones y los casos deben cambiar. Un equipo de marketing, un servicio de RR. HH. y un controller no utilizan los mismos datos, ni las mismas pruebas, ni el mismo nivel de riesgo.
¿Basta un test de opción múltiple?
Puede verificar ciertos conocimientos: definiciones, riesgos o buenas prácticas. No demuestra la capacidad de encuadrar una tarea, dirigir la IA, detectar un error y entregar un resultado profesional. Una puesta en situación es indispensable.
¿Hay que evaluar por separado ChatGPT, Claude y Gemini?
Para una competencia transferible, conviene evaluar primero los principios comunes. Módulos complementarios pueden verificar después las funciones propias del entorno de trabajo elegido por la empresa.
¿Cómo limitar el fraude durante la evaluación?
El uso de la IA forma parte de la prueba; el reto no es, por tanto, impedirlo. Pida más bien las trazas, una justificación oral, una variante imprevista y una segunda tarea. Quien se ha limitado a copiar un prompt tendrá dificultades para explicar y transferir su método.
¿Obliga la AI Act a la empresa a hacer pasar esta prueba?
No. La Comisión precisa que el artículo 4 no impone ni una medición individual obligatoria de un nivel de conocimientos ni un certificado específico. La empresa debe, no obstante, apoyar la alfabetización en IA teniendo en cuenta sus usos, sus públicos y sus riesgos. Una evaluación práctica es un medio de dirigir este planteamiento, pero debe seguir siendo proporcionada.
¿Con qué frecuencia hay que volver a evaluar?
Una evaluación inicial, una prueba de transferencia unas semanas después de la formación y un control cuando cambia de forma importante una herramienta o un proceso forman una base razonable. Los equipos expuestos a usos sensibles pueden necesitar ejercicios más frecuentes.
¿Qué es el prompt engineering?
El prompt engineering consiste en formular y mejorar las peticiones dirigidas a un LLM (large language model) para obtener una respuesta final más precisa: proporcionar ejemplos (few-shot prompting), descomponer el razonamiento (chain of thought), precisar el formato de salida. En la empresa, se evalúa menos la fórmula que la capacidad de dirigir la inteligencia artificial, verificar la respuesta y proteger los datos.
¿Qué diferencia hay entre un script y un prompt?
Un script es una serie de instrucciones ejecutadas de forma determinista; un prompt es una petición en lenguaje natural dirigida a un modelo de IA, cuya respuesta puede variar de un intento a otro. Por eso se evalúa el método (encuadre, verificación, iteración) más que el texto del prompt.
Evaluar las competencias en IA de sus equipos
Marmignon Brothers construye itinerarios de IA a partir de sus tareas, sus herramientas y sus riesgos. Podemos adaptar esta rúbrica a sus oficios, diseñar las puestas en situación, formar a los evaluadores y organizar una validación en situación de trabajo. Descubra nuestra formación en IA para empresas, vea qué formación en IA elegir para su empresa o solicite un diagnóstico y una evaluación de las competencias en IA.
Fuentes y referencias
- Comisión Europea, AI Literacy — Questions & Answers.
- Comisión Europea, Joint Research Centre, DigComp 3.0.
- NIST, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile.
- Anthropic, Define success criteria and build evaluations.
- Google AI for Developers, Prompt design strategies.