Unicode-Text korrekt handhaben

Ziel

Text aus jeder Sprache verarbeiten, ohne ihn zu beschädigen, und ihn so vergleichen oder durchsuchen, wie es Nutzer als korrekt empfinden.

Voraussetzungen

Eine Sprache mit einem eigenen Text-Typ (Pythons str) und Byte-Typ (bytes) sowie Kenntnis der Kodierungen an jeder Grenze.

Schritte

1. Eingehende Bytes so früh wie möglich mit der deklarierten Kodierung in Text dekodieren (UTF-8, sofern ein Protokoll nichts anderes vorgibt); ungültige Sequenzen bewusst zurückweisen oder ersetzen, nicht versehentlich.
2. Die gesamte interne Verarbeitung auf Text belassen; erst beim Schreiben in Dateien, Sockets oder Header nach UTF-8 kodieren.
3. Vor dem Vergleichen oder Indexieren normalisieren: NFC für Speicherung und Anzeige, NFKC, wenn Kompatibilitätszeichen übereinstimmen sollen (zum Beispiel Ziffern in voller Breite). Unicode TR15 definiert die Formen.
4. Längen mit Vorsicht behandeln: Byte-Länge für Speichergrenzen, Code-Point-Länge für die meisten APIs, Graphem-Cluster für das, was Nutzer sehen. Grenzwerte in der Einheit validieren, um die es bei der Grenze geht.
5. Für den gross-/kleinschreibungsunabhängigen Vergleich von Nicht-ASCII-Text Case-Folding verwenden, nicht blosses Kleinschreiben.
6. Identifikatoren, die in URLs, Header oder Dateinamen einfliessen, auf ASCII halten (transliterieren oder Prozent-kodieren) und den ursprünglichen Text für die Anzeige behalten.

Erwartetes Ergebnis

Namen wie „Zürich", „北京" oder „Ærø" überstehen einen Hin- und Rückweg unbeschadet, sortieren und lassen sich wie erwartet durchsuchen, und führen nie zu einem 500, weil ein Header nicht kodiert werden konnte.

Grenzen und Prüfbasis

Normalisierung und Case-Folding sind gebietsschemaunabhängige Annäherungen; das türkische i mit und ohne Punkt sowie ähnliche Fälle benötigen gebietsschemabewusste Behandlung. Die Schritte folgen den zitierten Referenzen und einem im eigenen Code dieser Wiki behobenen Fehler.