Der Tokenpreis ist nicht der Preis

Der scheinbare Widerspruch zwischen Tokenpreis und Vorgangskosten hat nichts mit Google zu tun. Er betrifft jede Automatisierung, die auf Sprachmodellen aufsetzt.

Bei gleichem Preis verbraucht das Modell mehr

Das neue Modell ist deutlich besser bei mehrstufigen Aufgaben, bei Softwareentwicklung und bei Abläufen, in denen die KI selbstständig Werkzeuge bedient. Als Grund nennt Google ungewöhnlich offen, dass das Modell gründlicher arbeitet. Es legt zusätzliche Denkschritte ein und ruft Werkzeuge mehrfach auf, bis das Ergebnis passt.

In der Entwicklerdokumentation steht der Hinweis, dass Anwendungen, bei denen Recheneffizienz das entscheidende Kriterium ist, entweder mit reduzierter Anstrengungsstufe arbeiten oder beim Vorgängermodell bleiben sollten. Wie stark die Kosten steigen, hängt von der eingestellten Anstrengungsstufe ab. Die unabhängige Messung von Artificial Analysis kommt auf höchster Stufe auf rund 40 Prozent höhere Kosten pro Aufgabe, auf der voreingestellten mittleren Stufe auf wenige Prozent. Auf der niedrigsten Stufe liegt das neue Modell unter dem alten. Der Preis pro Token ist in allen drei Fällen derselbe.

Preislisten führen in die Irre

Anbieter vergleichen sich über den Preis pro Million Token. Für ein Unternehmen ist das die falsche Kennzahl. Relevant ist, was ein Vorgang kostet, etwa eine geprüfte Rechnung oder eine beantwortete Anfrage. Das hängt davon ab, wie viele Schritte das Modell dafür braucht und wie oft es danebenliegt.

Ein günstiges Modell, das dreimal ansetzt und beim zweiten Versuch eine Korrekturschleife im Team auslöst, ist teurer als ein teures, das gleich richtig liegt. Umgekehrt ist Gründlichkeit verschwendetes Geld, wenn die Aufgabe simpel ist.

Für die Planung folgen drei Konsequenzen

Pro Vorgang rechnen. Bevor ein Agent produktiv geht, sollten 50 bis 100 echte Fälle durchlaufen, um die tatsächlichen Kosten je Fall zu messen. Auf diese Zahl kann man sich stützen, die Preisliste sagt darüber wenig aus.

Austauschbar bleiben. Google hat die Flash-Reihe innerhalb weniger Monate mehrfach erneuert, andere Anbieter ebenso. Wer seine Automatisierung so aufsetzt, dass das Modell austauschbar ist, kann jede Verbesserung mitnehmen. Wer sich festlegt, baut sich eine Migration.

Je Prozess entscheiden. Bei der Rechnungsprüfung zahlt sich ein gründliches, teureres Modell aus, weil ein Fehler richtig weh tut. Bei Standardantworten im Posteingang nicht. Die Modellwahl gehört deshalb zu jeder einzelnen Prozessentscheidung.

Die Frage nach dem Modell kommt zuletzt

„Welches KI-Modell sollen wir nehmen?“ ist selten die richtige Frage, zumal sich die Antwort ohnehin im Quartalstakt ändert. Brauchbarer ist die Frage, welcher unserer Abläufe regelmäßig anfällt, klar beschreibbar und teuer genug ist, dass sich Automatisierung rechnet. Wer das beantwortet hat, findet das passende Modell in einer Nachmittagssitzung. Für Betriebe in Niederösterreich kann ein solcher Ablauf auch ein Förderfall sein. Unter welchen Bedingungen, beschreibt der Beitrag Das KI-Abo allein fördert das Land nicht.