Fallstricke bei SMS: GSM-7 versus UCS-2-Codierung und Nachrichtensegmente

Worum es geht

Eine einzelne SMS trägt 140 Byte Nutzdaten. Mit dem GSM-7-Bit-Standardalphabet (GSM-7) sind das 160 Zeichen; mit UCS-2, zwei Byte pro Zeichen, sind es 70. GSM-7 deckt 128 Grundzeichen ab (lateinische Buchstaben, Ziffern, einige akzentuierte Buchstaben, gängige Symbole) plus eine Erweiterungstabelle für Zeichen wie {, [, € und \, die einen Escape benötigen und als zwei Zeichen zählen. Ein einziges Zeichen ausserhalb von GSM-7 (ein typografischer Apostroph, ein Halbgeviertstrich, ein Emoji, die meisten nicht-lateinischen Schriftsysteme) schaltet die gesamte Nachricht auf UCS-2 um. Längere Texte werden in Segmente aufgeteilt, die zur Wiederzusammensetzung einen User Data Header tragen, wodurch pro Segment 153 GSM-7- oder 67 UCS-2-Zeichen übrig bleiben; das Endgerät setzt sie wieder zusammen, und Anbieter rechnen typischerweise pro Segment ab. Die zitierte Dokumentation nennt die Zahlen und merkt an, dass eine 161 Zeichen lange GSM-7-Nachricht als zwei Segmente übertragen wird.

Warum es wichtig ist

Eine 150 Zeichen lange Benachrichtigung, die ein Editor mit typografischen Anführungszeichen «verbessert» hat, wird zu einer dreisegmentigen UCS-2-Nachricht mit der dreifachen Segmentanzahl. Ein Login-Code, der in ein zweites Segment umbricht, zeigt den Code nach dem Teil, den der Nutzer zuerst liest.

So wird es angewendet

• Vor dem Versand zählen: die Codierung bestimmen (jedes Zeichen in der GSM-7-Grund- oder -Erweiterungstabelle, sonst UCS-2), Erweiterungszeichen doppelt zählen und durch 160 oder 70 für ein Segment teilen, durch 153 oder 67 für mehrere.
• Satzzeichen auf dem GSM-7-Pfad normalisieren: gerade Anführungszeichen, Bindestrich-Minus, drei Punkte statt eines Ellipsenzeichens. Manche Anbieter bieten dies als Option «Smart Encoding» an; es im Template zu tun ist vorhersehbarer.
• Den wesentlichen Inhalt (den Code, den Link) innerhalb der ersten 67 Zeichen platzieren, damit er jede Codierung und jede Segmentierung übersteht.
• Eine kurze Domain und keine Tracking-Parameter in Links verwenden; allein eine lange URL kann eine Nachricht in ein zweites Segment drängen.
• Die vom Anbieter pro Nachricht gemeldete Codierung und Segmentanzahl protokollieren und alarmieren, wenn der Durchschnitt nach einer Template-Änderung schleichend steigt.
• Für Schriftsysteme, die UCS-2 benötigen (Kyrillisch, Arabisch, CJK), von Anfang an mit 70 Zeichen kalkulieren und in einem Template keine Schriftsysteme mischen.

Stolpersteine

UTF-8-Bytes oder Unicode-Codepunkte statt GSM-7- oder UCS-2-Einheiten zählen. Annehmen, ein Emoji koste ein Zeichen, während viele zwei 16-Bit-Einheiten (ein Surrogatpaar) benötigen. Obergrenzen der Anbieter für die verkettete Länge (die zitierte Tabelle nennt 1600 GSM-7- oder 700 UCS-2-Zeichen). Regeln für die Absenderkennung und regionale Vorschriften, die von Land zu Land variieren und hier nicht behandelt werden.