Tarjeta de evaluación de LLM: puntúa salidas a mano

Acerca de Tarjeta de evaluación de LLM

La tarjeta de evaluación de LLM convierte la pregunta difusa de «¿fue una buena respuesta?» en un único número repetible. En lugar de mirar la salida del modelo y fiarte de una corazonada, la puntúas frente a cinco dimensiones fijas: precisión, completitud, seguimiento de instrucciones, seguridad y claridad. Cada dimensión tiene un control deslizante de 0 a 5, y cada una lleva un peso fijo que refleja cuánto debe contar en la nota final. La precisión y el seguimiento de instrucciones son las más ponderadas, con peso 3; la completitud y la seguridad están en 2; y la claridad en 1, porque una respuesta confiada pero equivocada que se lee de maravilla es peor que una un poco torpe que acierta en los hechos y en la tarea.

Las matemáticas detrás del número principal son una media ponderada directa. La puntuación de cada dimensión se multiplica por su peso, esos productos se suman y el total se divide entre la máxima puntuación ponderada posible. El resultado se muestra como porcentaje con una nota en letra al lado y una barra de progreso que se llena al subir los controles. Como los pesos están integrados, dos personas que puntúen la misma salida del mismo modo llegarán siempre al mismo porcentaje, que es justo el objetivo: una coherencia que puedes defender en una reunión de revisión en lugar de una sensación que tienes que justificar.

Una tarjeta así resulta más útil cuando comparas candidatos cara a cara. Pasa el mismo prompt por dos modelos, o el mismo modelo antes y después de un cambio de prompt, puntúa cada salida en las cinco dimensiones y los porcentajes te dan un desempate limpio. A lo largo de muchos ejemplos esos números se convierten en un conjunto de evaluación manual, el tipo de calificación estructurada que luego puedes automatizar o entregar a un compañero como rúbrica. El cuadro de notas de texto libre bajo los controles está para capturar el porqué de una puntuación baja, de modo que una regresión sea rastreable hasta un fallo concreto y no hasta una impresión olvidada.

Todo aquí es una ayuda al juicio humano, no un evaluador automático. La herramienta no llama a ningún modelo evaluador, no lee ni califica ninguna salida por ti, y no guarda tus notas en ninguna parte; los controles, la puntuación ponderada y las notas que escribes viven solo en la pestaña actual del navegador y desaparecen al cerrarla. Eso hace que sea seguro puntuar salidas de modelos sensibles o propietarias sin que nada se transmita fuera de tu máquina.