Was bringt der nächste Euro für einen Agenten?
– · 2 Min. Lesezeit
Nachträglich recherchierte Auswahl vom .
Mehr Rechnen kann bessere Ergebnisse liefern. Es kann auch nur mehr Versuche liefern. METR untersucht die Kostenfrage; Google zeigt gleichzeitig, wie spezielle Modelle in der Cyberabwehr eingesetzt werden sollen.
Budget und Ergebnis zusammen ansehen
METR veröffentlicht am 21. Juli den „Expenditure Horizon“: einen Ansatz, Optimierungsleistung von Menschen und Agenten bei vergleichbarem Geldbudget zu betrachten. Das konkrete Untersuchungsbeispiel ist der NanoGPT-Speedrun. Budget umfasst auch Versuche und Rechenkosten; es ist eine andere Größe als menschliche Aufgabenzeit. METR-Methode. Eine Forschungsnotiz vom 24. Juli ordnet weitere Agenten-Kennzahlen ein. Kennzahlen und Grenzen.
Das Ziel darf beim Optimieren nicht verrutschen
Eigenes Beispiel: Ein Training benötigt zehn Sekunden bis zu einem festgelegten Qualitätsziel. Ein Agent bekommt Code, Testdaten und ein begrenztes Budget für Änderungen und Versuche. Er soll dieselbe Qualität schneller erreichen. Eine Variante mit neun Sekunden wäre interessant, wenn der Kontrolltest die Qualität bestätigt. „Lass die Hälfte der Daten weg“ kann die Uhr ebenfalls beschleunigen und dabei das Ziel verfehlen.
Deshalb zählen nicht nur erfolgreiche Vorschläge. Auch gescheiterte Versuche, Wiederholungen und das Prüfen der Ergebnisse gehören in die Rechnung. Dieses Beispiel erklärt die Messfrage; seine zehn und neun Sekunden sind keine METR-Ergebnisse.
Spezielle Werkzeuge brauchen einen vollständigen Auftrag
Google stellt am 21. Juli Gemini 3.5 Flash Cyber für ausgewählte staatliche und andere vertrauenswürdige Partner vor. Das Ziel ist, Schwachstellen zu finden, zu bestätigen und beim Beheben zu helfen. Es ist ein begrenzter Zugang, keine allgemein verfügbare Zusage perfekter Verteidigung. Google-Ankündigung.
Beide Meldungen führen zur gleichen praktischen Frage: Welches Ergebnis wurde unter welchem Budget und welchen Bedingungen erreicht? Ein gefundener Fehler, ein getesteter Fix und eine erfolgreiche Produktionsänderung sind getrennte Schritte.
Halte das Ziel fest und rechne den gesamten Weg zum überprüften Ergebnis mit. Ein Agenten-Score ohne Budget beantwortet die Kostenfrage nicht.