Schlau ist nicht fertig: HLE und METR richtig lesen
Was sagen schwere Fachfragen und menschliche Aufgabenzeiten über KI aus? Ein Auftrag vor dem Feierabend führt durch zwei sehr verschiedene Tests.
Ein Auftrag um 16:55
Eine Kundenliste soll importiert werden: normale Einträge lesen, Dubletten melden und eine leere Datei sauber behandeln. Dieses Beispiel ist erfunden. Wir verfolgen daran, welche Aussage ein Benchmark für unsere Entscheidung liefert — und wie wir das fertige Ergebnis selbst prüfen.
Zwei Tests, zwei Fragen
Humanity’s Last Exam (HLE) prüft besonders schwere Fachfragen mit bekannten Antworten. Der Anteil richtiger Antworten beschreibt diesen Aufgabensatz. Die ursprüngliche Fassung umfasst 2.500 Fragen; HLE-Diamond hat einen anderen Satz mit 1.000 Fragen. Version und erlaubte Werkzeuge gehören zu jedem Vergleich.
METR untersucht, wie KI-Agenten zusammenhängende Aufgaben erledigen. Der Zeithorizont bezieht sich auf die Aufgabenzeit menschlicher Fachleute, nicht auf die tatsächliche Laufzeit der KI. Ein 50-Prozent-Horizont ist eine geschätzte Schwierigkeitsschwelle im Aufgabenmix, keine Erfolgsgarantie für deinen einzelnen Auftrag. Höhere Zuverlässigkeit führt üblicherweise zu einer kürzeren Schwelle.
Die Prozentwerte und die Kurve im Film sind ausdrücklich Rechenbeispiele, keine gemessenen Modellresultate.
Zurück zur Kundenliste
Prüfe den konkreten Auftrag mit drei Fällen: normale Liste, doppelte Einträge und leere Datei. Lege vorher fest, welches Ergebnis jeweils richtig ist. Benchmark, Version, Werkzeuge und gewünschte Zuverlässigkeit helfen bei der Auswahl; die Abnahme beantwortet, ob dein Auftrag tatsächlich erledigt wurde.
Primärquellen: HLE, HLE-Paper, Diamond-Aufgabensatz, METR-Zeithorizonte, Messmethode und Time Horizon 1.1.
Meine Notizen
Notizen und Markierungen zu diesem Beitrag
Nur in diesem Browser gespeichert. Es wird nichts gesendet.
Hier landen deine Notizen und Markierungen.
Markiere im Text eine Stelle und wähl „Markieren“ oder „Notiz“. Oder schreib gleich eine Notiz zum ganzen Beitrag.