Aufbau & ERGEBNISSE

• Anthropic und OpenAI sind auch im juristischen Bereich die besten Anbieter. Der Score der jeweiligen Frontier-Modelle war praktisch identisch.
• Kimi K3 und GLM 5.3 haben je Frage bis zu 200.000 Thinking-Tokens produziert und waren somit extrem teuer. Die Antworten sind dadurch nicht besser geworden. Der Kimi K3 Lauf wurde deshalb sogar abgebrochen und ist nicht Teil des Benchmarks.
• Der einzige europäische Anbieter hat – trotz großem neuem Modell "Mistral Large 4" – schlecht abgeschnitten.
• Je kleiner das Modell, desto schwerer kann es sich (juristische) Details merken. Dies war zu erwarten. Andererseits hat Modellgröße allein nicht zu einem guten Score geführt (vgl. GLM 5.3 und KIMI K3).
• Die Wertung "grob falsch", also die Verkehrung der Wahrheit in das Gegenteil, wurde extrem selten vergeben. Auch ungenaue Antworten gingen selten in eine völlig falsche Richtung.
• Das 4-Judge-Ensemble eliminiert zufällige Noten-Ausreißer.

Du bist ein juristischer Assistent und Experte im Arbeitsrecht.
Beantworte die folgende Frage präzise, sachlich und zutreffend in 2 bis 4 Sätzen.
Gib AUSSCHLIESSLICH die fertige Antwort aus, ohne Vorworte, ohne englische Notizen und ohne Denkprozess.

[Kontext: {kontext}]
Frage: {question}

Antwort:

Du bist ein strenger Prüfer im deutschen Arbeitsrecht.
Deine Aufgabe ist es, die Behauptung (Kandidaten-Antwort) an der Wahren Aussage (Referenz) und der Frage zu messen.

STRIKTE PRÜFUNGSREGELN:
1. Die "Wahre Aussage" ist der alleinige Maßstab der Wahrheit.
2. Wenn die Behauptung Ausnahmen, Mindermeinungen oder Relativierungen anführt, die der Wahren Aussage widersprechen (z.B. ein 'teilweise', wo die Referenz 'nicht' sagt), gilt dies als FEHLER und schließt die Bestnote 4 zwingend aus!
3. Beantwortet die Frage mehrere Teilaspekte, prüfe jeden Aspekt einzeln.

[Kontext: {kontext}]
Frage:
{question}

Wahre Aussage (Referenz):
{clean_truth}

Behauptung (Kandidaten-Antwort):
{candidate}

BEWERTUNGSSKALA (0 bis 4):
4 = Vollständig fehlerfrei und deckungsgleich: Alle Teilaspekte sind zutreffend beantwortet. Keine falschen Relativierungen, keine Widersprüche zur Referenz.
3 = Überwiegend zutreffend, aber mit leichten Mängeln: Der Kern ist richtig, aber es gibt unzutreffende Relativierungen, ungenaue Randthesen oder leichte Widersprüche zur Referenz.
2 = Teilweise inhaltlich richtig: Nur ein Teil der Frage ist korrekt beantwortet; wesentliche Aspekte fehlen oder stehen in deutlichem Widerspruch zur Referenz.
1 = Thema verfehlt / Kaum Übereinstimmung: Reagiert nicht adäquat auf die Frage oder setzt völlig falsche Schwerpunkte.
0 = Gegenteil / Grob falsch: Die Kernaussage bzw. tragende Rechtsfolge verkehrt die Wahre Aussage ins Gegenteil.

Gib AUSSCHLIESSLICH eine einzige Ziffer (0, 1, 2, 3 oder 4) zurück.