LLM-Eval-Scorecard: KI-Antworten konsistent bewerten

Über LLM-Bewertungskarte

Die LLM-Eval-Scorecard verwandelt die unscharfe Frage „War das eine gute Antwort?“ in eine einzige wiederholbare Zahl. Statt Modellausgaben mit dem Auge zu prüfen und einem Bauchgefühl zu vertrauen, bewertest du sie anhand von fünf festen Dimensionen: Genauigkeit, Vollständigkeit, Anweisungsbefolgung, Sicherheit und Klarheit. Jede Dimension erhält einen Schieberegler von 0 bis 5, und jede trägt ein festes Gewicht, das widerspiegelt, wie stark sie in die Endnote einfließen soll. Genauigkeit und Anweisungsbefolgung sind mit 3 am stärksten gewichtet, Vollständigkeit und Sicherheit liegen bei 2 und Klarheit bei 1, denn eine selbstbewusst falsche Antwort, die sich wunderbar liest, ist schlechter als eine etwas holprige, die die Fakten und die Aufgabe richtig trifft.

Die Rechnung hinter der zentralen Zahl ist ein unkomplizierter gewichteter Durchschnitt. Der Wert jeder Dimension wird mit ihrem Gewicht multipliziert, diese Produkte werden summiert, und die Summe wird durch den maximal möglichen gewichteten Wert geteilt. Das Ergebnis wird als Prozentzahl mit einer Note daneben und einem Fortschrittsbalken angezeigt, der sich füllt, während du die Regler erhöhst. Weil die Gewichte fest eingebaut sind, landen zwei Personen, die dieselbe Ausgabe gleich bewerten, immer bei derselben Prozentzahl, und genau das ist der Sinn: Konsistenz, die du in einem Review-Meeting verteidigen kannst, statt eines Gefühls, über das du streiten musst.

Eine solche Scorecard ist am nützlichsten, wenn du Kandidaten direkt gegeneinander vergleichst. Lass denselben Prompt durch zwei Modelle laufen, oder dasselbe Modell vor und nach einer Prompt-Änderung, bewerte jede Ausgabe auf den fünf Dimensionen, und die Prozentzahlen geben dir einen sauberen Entscheider bei Gleichstand. Über viele Beispiele hinweg werden diese Zahlen zu einem manuellen Eval-Set, der Art strukturierter Bewertung, die du später automatisieren oder einer Kollegin als Bewertungsraster übergeben kannst. Das Freitext-Notizfeld unter den Reglern ist da, um das Warum hinter einem niedrigen Wert festzuhalten, sodass eine Verschlechterung auf einen konkreten Fehler statt auf einen vergessenen Eindruck zurückzuführen ist.

Alles hier ist eine Hilfe für menschliches Urteil, kein automatischer Bewerter. Das Werkzeug ruft kein Bewerter-Modell auf, liest oder bewertet keine Ausgabe für dich und speichert deine Notizen nirgendwo; die Regler, der gewichtete Wert und deine getippten Notizen leben nur im aktuellen Browser-Tab und verschwinden, wenn du ihn schließt. Das macht es sicher, sensible oder geschützte Modellausgaben zu bewerten, ohne dass irgendetwas von deinem Gerät übertragen wird.