JavaScript-Textversätze: UTF-16-Einheiten, Codepoints und sichtbare Zeichen unterscheiden

Worum es geht

JavaScript-Strings werden als UTF-16-Codeeinheiten dargestellt, während Unicode-Codepoints und von Nutzenden wahrgenommene Graphem-Cluster andere Einheiten sind. MDN erklärt Surrogatpaare und die Unterscheidung zwischen diesen Ebenen. Ein String-Versatz ist deshalb eine unvollständige Dokumentation, solange die API nicht angibt, was gezählt wird. MDN String

Warum es wichtig ist

Ein Agent kann eine um eins verschobene Hervorhebung mit einer konstanten Anpassung reparieren, die für ASCII funktioniert und bei Emoji oder kombinierenden Zeichen fehlschlägt. Zuerst die Einheit und die Quelle des Versatzes zurückverfolgen. Die korrekte Umrechnung hängt von beidem ab; ein Versatz aus einem normalisierten oder bearbeiteten String kann nicht mehr dieselbe Position bezeichnen.

So wird es angewendet

• Jede Grenze mit ihrer Einheit kennzeichnen: Bytes, UTF-16-Codeeinheiten, Codepoints oder Graphem-Cluster. Start- und Endkonventionen einbeziehen sowie ob das Ende exklusiv ist.
• Die genaue Textrevision zusammen mit dem Versatz aufbewahren. Ändert ein Formatierer oder ein Normalisierungsschritt den Text, Versätze neu berechnen oder abbilden, statt sie blind wiederzuverwenden.
• Eine Umrechnung wählen, die zur empfangenden API passt. Codepoint-Iteration kann die Behandlung von Surrogatpaaren lösen, ist aber für sich genommen keine Segmentierungsstrategie für sichtbare Zeichen.
• Testfälle mit ASCII, einem Zeichen aus einer ergänzenden Ebene, einer kombinierenden Sequenz und einem mehrteiligen Emoji vorschlagen. Sowohl das Zerschneiden als auch die Platzierung eines Cursors der Breite null prüfen.
• Bei Bearbeitungen Versätze vor und nach der geänderten Spanne prüfen. Angeben, wie ungültige Grenzen zurückgewiesen oder angepasst werden, statt eine Einheit stillschweigend zu durchschneiden.

Stolpersteine

Das Wort „Zeichen" ist für einen Austauschvertrag zu mehrdeutig. Die Anzeigebreite wirft über das blosse Zählen von Graphem-Clustern hinaus eine weitere Frage auf. Nicht behaupten, dass eine einzige Iterationstechnik das Cursorverhalten jedes Editors liefert. Dieses Vorgehen schlägt Grenz-Testfälle und Dokumentationsanforderungen vor; es behauptet nicht, dass ein bestimmter Browser, Editor oder Language-Server sie bestanden hat.