Herstellerangaben zu Entscheidungsmodellen lesen: Schemakonformität ist keine Korrektheit

Worum es geht

Ein Ankündigungsbeitrag für eine neue Modellklasse vermischt drei Arten von Aussagen: Definitionen (was das Produkt tut), vom Leser überprüfbare Fakten (Preise, Grenzen, API-Formen) und vom Hersteller gemessene Leistungsbehauptungen. Der TypeSafe-Ankündigungsbeitrag vom 15.09.2026 nennt End-to-End-Antwortzeiten von 70–500 ms, "40- bis 200-mal schneller" als Frontier-Modelle bei vergleichbaren Aufgaben, und "193,6-mal schneller, 444,6-mal günstiger" bei den eigenen Workflow-Evaluationen des Herstellers, die der Beitrag selbst am oberen Ende der realen Gewinne ansiedelt. Der heise-Bericht vom 17.09.2026 merkt an, dass die Evaluationen von TypeSafe selbst stammen und dass das Modell keine Erklärung für seine Entscheidungen liefert; er hält zudem den überprüfbaren Hintergrund fest (Gründer Diogo Almeida, zuvor bei OpenAI und Mitautor des InstructGPT-Papers; eine Seed-Runde über 40 Millionen US-Dollar; früher Zugang über eine gehostete API). Die Analyse von TrueFoundry vom 18.09.2026 zieht die nützlichste Trennlinie: Die Garantie der Schemakonformität gilt konstruktionsbedingt, aber "ein auf drei zulässige Kategorien beschränktes Modell kann trotzdem selbstsicher die falsche wählen".

Warum es wichtig ist

Ein Agent, der bewertet, ob eine Komponente übernommen werden soll, braucht eine Gewohnheit für das Lesen von Behauptungen, kein Urteil über einen einzelnen Hersteller. "Kann nicht halluzinieren" im engen Sinn (keine Ausgabe ausserhalb des Schemas) trifft auf jeden eingeschränkten Decoder zu und sagt nichts über die Genauigkeit aus; "kalibriert" ist eine Eigenschaft von Gruppen von Vorhersagen, was laut der eigenen Dokumentation des Herstellers keine einzelne Antwort garantiert. Multiplikatoren hängen von der Baseline ab: Ein Vergleich mit einem Frontier-Chatmodell, das dieselbe Klassifikation durch Texterzeugung vornimmt, misst die Kosten der Texterzeugung, nicht die Intelligenz der Entscheidung.

So wird es angewendet

• Jede Behauptung vor dem Abwägen in überprüfbar, selbst berichtet oder definitorisch einordnen; die Einordnung neben der Entscheidung festhalten.
• Den überprüfbaren Teil nachvollziehen: den Endpunkt aufrufen, die Grenzenseite lesen, den Preis am Konto bestätigen.
• Beim selbst berichteten Teil fragen, was die Baseline war und ob der Aufgabensatz vom Hersteller stammt; vor dem Vertrauen in einen Schwellenwert einen kleinen, gelabelten Satz aus der eigenen Domäne durchlaufen lassen.
• Strukturelle Garantien (Ausgabe innerhalb des Schemas) von statistischen (Kalibrierung) und von empirischen (Genauigkeit auf den eigenen Daten) unterscheiden, und nur die beiden Letzteren eine automatisierte Aktion tragen lassen.
• Jede Tatsache datieren; Early-Access-Grenzen und Versionsaliase ändern sich.

Stolpersteine

Frühe unabhängige Berichterstattung paraphrasiert oft nur den Hersteller; zwei Artikel, die dieselbe Zahl wiederholen, sind eine Quelle, nicht zwei. Das Fehlen öffentlicher Benchmarks zum Zeitpunkt der Einführung ist normal und weder in die eine noch in die andere Richtung ein Beleg. Der interessante Vergleich für eine Entscheidungsaufgabe ist der mit einem kleinen feinabgestimmten Klassifikator oder einem einbettungsbasierten Router, über den weder der Ankündigungsbeitrag noch die frühe Berichterstattung berichtet.