Selbst machen ist der Normalfall.
Der Weg ist bekannt
Die Arbeit verläuft linear, und der nötige Kontext ist schon geladen.
- eine Datei lesen, einen Befehl ausführen
- eine kleine Änderung, eine kurze Diagnose
- Ergebnisse zusammenführen
Dass eine Aufgabe „nicht trivial“ ist, reicht allein nicht als Grund zum Abgeben.
Ein Agent bringt etwas
- Zwei Arbeitsstränge sind wirklich unabhängig und teilen keine Dateien.
- Die Hauptsitzung bleibt messbar schlanker, weil der Agent viel liest und nur das Ergebnis zurückgibt.
- Ein bestimmtes Modell hat einen klar benennbaren Vorteil.
- Der Auftrag würde die Hauptsitzung sonst länger als etwa 15 Minuten blockieren.
Delegation sparte nur bei Kontextschutz oder echter Parallelität.
So viele, wie es Pakete gibt
Eine feste Obergrenze gibt es nicht. Die Grenze ist logisch:
- Teilbarkeit: je Agent ein eigenes, unabhängiges Arbeitspaket mit eigenen Dateien. Mehr Agenten als Pakete bringen nichts.
- Kontrollierbarkeit: nur so viele, wie die Hauptsitzung am Ergebnis selbst noch prüfen kann.
- Erst Probe, dann Serie: ein neues Verfahren zuerst an ein bis zwei Proben, breit verteilen erst nach deren Abnahme.
Auf einem Server mit wenig Arbeitsspeicher richtet sich die Zahl nach dem freien Speicher: rund 300 MB je Agent, 1 GB Reserve.
Eine Ebene, klare Zuständigkeit.
Was ein Modell kostet
Listenpreis je Million Ausgabe-Tokens in US-Dollar
Warum medium für das Hauptmodell genügt
Opus 5.5 ist stärker als sein Vorgänger; der höhere Aufwand bringt dort selten mehr. High lohnt sich bei urteilslastiger Recherche, Entscheidungsvorlagen, Geld- und Regelfragen. Die höchste Stufe nur mit benanntem Grund, etwa bei Geld, Recht oder einem Schritt, der sich nicht zurücknehmen lässt.
Was die Modelle tatsächlich lieferten.
Fable kostet rund das 2,5-Fache von Opus. Die Stärken, die es zu haben schien, kamen aus dem Auftrag, nicht aus dem Modell. Es bleibt für die schwerste Frage oder nach einem belegten Fehlschlag.
So endete ein Web-Abruf mit Haiku. Seitdem gehen Web-Abrufe an Sonnet, und Haiku arbeitet nur mit einer Prüfstufe danach: Dateigröße, Status, Stichprobe.
Meldet zu früh „fertig“
Auf niedrigem Aufwand erklärte es Änderungen teils ohne echte Prüfung für erledigt. Medium ist die untere Grenze für Arbeit mit Werkzeugen. In Wissensfragen antwortet es teils aus dem Gedächtnis; der Auftrag muss Quellen mit Fundstelle verlangen.
Es taugt dazu, zu prüfen, ob ein Agent seinen Auftrag erfüllt hat. Zur Fehlersuche taugt es nicht.
Unten anfangen, erst nach Grund hochgreifen.
Haiku
Hört auf, sobald ein Urteil oder eine Mehrdeutigkeit auftaucht.
Sonnet medium, dann high
High nur für schwierige Logik oder Reproduktion.
Opus
Nur mit benanntem Grund oder nachdem Sonnet nachweislich gescheitert ist.
Fable
Nur für die schwerste Frage oder nach einem belegten Fehlschlag von Opus.
Neun Angaben, ein Schreiber je Datei.
Die Zeitgrenze gilt in Uhrzeit: etwa die doppelte geschätzte Dauer, höchstens drei Stunden. Ist sie erreicht, stoppt der Agent und meldet seinen Stand. Anlass waren Agenten, die über 177 Stunden als laufend dastanden.
- Ein Schreiber je Datei.
- Nie zwei Builds gleichzeitig.
- Ein pausierter Agent wird nicht durch einen zweiten ersetzt.
- Ist ein Ergebnis eingebaut, wird der Agent beendet.
Einmal, am Ende, mit zwei Modellen.
Blindtest: sieben eingebaute Fehler
Gefundene Fehler je Modell, beste Stufe, Code eines Contao-Bundles
Sie ergänzen sich
Einer findet Fehler durch Ausprobieren, der andere durch vollständiges Lesen. Im Blindtest mit sieben eingebauten Fehlern fanden beide getrennt alle sieben.
Nie an einer Zusammenfassung
Prüfer lesen Code, Diff und Tests. Jeder Befund wird am Original angenommen, abgelehnt oder teilweise angenommen.
Ein dritter Blick
Bei Sicherheit, Geld, Migration oder Veröffentlichung prüft ein drittes Modell mit, das am laufenden System testet.
Beim Prüfen wird nicht an der Denktiefe gespart
Wer Code prüft, denkt mindestens auf high, Standard ist xhigh, nie medium. Billiger wird ein Review über die passende Rolle: ein kleines Modell für die Bestandsliste, ein mittleres zum Nachstellen eines Fehlers, die starken Prüfer nur für die Fehlersuche.
Nach jedem Lauf: hat es sich gelohnt?
Bringt ein Modell oder eine Prüfstufe wiederholt nur Bestätigung ohne Folgen, fällt sie weg. So wurde die Rolle des teuersten Modells zurückgestuft.
Woran man Leerlauf erkennt.
Ein Agent startet nur, um eine bekannte Datei zu lesen.
Ein neuer Agent startet, obwohl gleichartige Ergebnisse noch ausstehen.
Ein Agent startet Agenten.
Das stärkste Modell erledigt Routine.
Zwei Agenten ändern dieselbe Datei oder starten denselben Build.
Eine Prüfrunde folgt der nächsten, ohne neuen Befund, oder läuft nach jeder einzelnen Änderung.