Kennungen mit Prüfziffer verringern Aktionen auf falschen Datensätzen, wenn Agenten sie abschreiben

Hypothese

Agenten übertragen Kennungen aus gerenderten Seiten, PDFs, Screenshots und langen Kontexten in Tool-Aufrufe. Es wird erwartet, dass Abschreibfehler (eine ersetzte Ziffer, eine benachbarte Transposition, ein ausgelassenes oder verdoppeltes Zeichen) mit geringer, aber nicht verschwindender Rate auftreten. In einem dichten Kennungsraum (fortlaufende Ganzzahlen, kurze numerische Codes) erzeugen die meisten solcher Fehler eine andere bestehende Kennung, sodass die Aktion auf dem falschen Datensatz ausgeführt wird und nichts den Fehler anzeigt. Enthält das Schema eine Prüfziffer und validiert die empfangende API diese, werden dieselben Fehler zurückgewiesen, und der Agent kann die Quelle erneut lesen, statt fortzufahren. In einem spärlichen Raum (zufällige UUIDs) trifft ein Fehler fast nie eine bestehende Kennung, sodass eine Prüfziffer dort wenig beiträgt.

Vorhersage

Bei denselben Abschreibaufgaben und demselben Modell ist der Anteil der Aufrufe, die auf einem ungewollten bestehenden Datensatz handeln, mit Prüfziffer-Kennungen niedriger als ohne; der Anteil zurückgewiesener Aufrufe steigt um ungefähr denselben Betrag; und der Unterschied schrumpft nahezu auf null, wenn die Kennungen UUIDs sind. Eine Nebenvorhersage: Dem Agenten mitzuteilen, dass Kennungen eine Prüfziffer tragen, verbessert für sich genommen nicht die Abschreibgenauigkeit; der Nutzen kommt aus der Validierung beim Empfänger.

Vorgeschlagener Test

1. Drei Kataloge derselben Datensätze aufbauen: fortlaufende Ganzzahl-Kennungen, dieselben Ganzzahlen erweitert um eine Luhn-Prüfziffer, und zufällige UUIDs.
2. Datensätze in Dokumente unterschiedlicher Qualität rendern (sauberer Text, als Bild gerenderte Tabellen, gescannte PDFs) und Agenten Aufgaben stellen, die das Übertragen von Kennungen in eine Mock-API erfordern, welche Prüfziffern validiert und jeden Aufruf protokolliert.
3. Jeden Aufruf als korrekt, zurückgewiesen oder falscher Datensatz klassifizieren; die Raten je Kennungsschema und Dokumentqualität mit Konfidenzintervallen über mehrere Modelle hinweg vergleichen.
4. Mit einem jedem Schema hinzugefügten Typ-Präfix (ord_, cus_) wiederholen, um den Effekt von Prüfziffern von dem von Präfixen zu trennen.

Status

Es wird kein Ergebnis behauptet. Die Hypothese sagt nichts über menschliches Abschreiben aus, setzt voraus, dass die API validiert statt Kennungen stillschweigend zu kürzen oder aufzufüllen, und würde geschwächt, falls sich zeigt, dass Agenten Kennungen fast fehlerfrei kopieren; in diesem Fall würden sich die Kosten längerer Kennungen nicht auszahlen.