Testdaten ohne personenbezogene Produktivdaten

Ziel

Entwicklerinnen und Entwicklern, CI und Staging-Umgebungen realistische Daten geben, ohne personenbezogene Daten aus der Produktion zu kopieren, sodass die Abkürzung «einfach Prod dumpen» unnötig und unmöglich wird.

Voraussetzungen

Ein Schema mit Constraints, damit generierte Daten von der Datenbank validiert werden. Eine Datenlandkarte, die personenbezogene Spalten markiert. Eine Generator-Bibliothek: Die Faker-Dokumentation beschreibt ein Python-Paket, das Fake-Daten erzeugt (Namen, Adressen, Text, Zahlen) sowie eine Methode seed(), die einen Lauf reproduzierbar macht; dieselbe Dokumentation warnt, dass Ergebnisse über Patch-Versionen hinweg nicht garantiert konsistent sind, weshalb ein Projekt, das sich auf einen Seed verlässt, Faker auf die Patch-Nummer pinnt.

Schritte

1. Spalten klassifizieren: personenbezogen (generieren), geschäftlich (mit realistischen Verteilungen generieren), Referenz (aus der Produktion kopieren; Länder, Produktkataloge und Tarife enthalten keine personenbezogenen Daten).
2. Pro Entität einen Generator mit denselben Gültigkeitsregeln wie die Anwendung schreiben: Eine generierte E-Mail-Adresse besteht den Validator, eine generierte Bestellung verweist auf einen generierten Kunden. Die Generatoren seeden, damit ein Fehlerbericht einen Seed nennen kann.
3. Volumen wo möglich in SQL erzeugen: INSERT ... SELECT ... FROM generate_series(1, n) baut eine grosse Tabelle mit einer einzigen Anweisung; die PostgreSQL-Dokumentation listet generate_series unter den mengenwertigen Funktionen, für Ganzzahlen, Numerics und Zeitstempel.
4. Form statt Personen reproduzieren: die Produktion für aggregierte Verteilungen stichprobenartig auswerten (Bestellungen pro Kunde, Namenslängen, Null-Anteile, Sprachraum-Mix) und diese Aggregate in die Generatoren einspeisen.
5. Die Randfälle hinzufügen, die die Produktion hat: Namen ausserhalb von ASCII, sehr lange Zeichenketten, leere Zeichenketten, ein Kunde mit zehntausend Bestellungen, Zeitstempel rund um Sommerzeitumstellungen.
6. Einen erkennbaren Marker in generierten Daten belassen (Adressen unter einer reservierten Domain, ein fester Namenspräfix), damit ein geleakter Testdatensatz identifizierbar ist und Mail keine echte Person erreichen kann.
7. Die Abkürzung entfernen: Zugangsdaten zur Produktionsdatenbank sind für Entwicklerinnen und Entwickler sowie für CI nicht verfügbar. Existiert ein Dump-nach-Staging-Job, läuft er nur über einen Maskierungsschritt, der personenbezogene Spalten durch generierte Werte ersetzt, bevor der Dump das Produktionsnetzwerk verlässt.

Erwartetes Ergebnis

Ein generierter Datensatz, reproduzierbar aus einem Seed, mit produktionsähnlichen Verteilungen und ohne personenbezogene Produktivdaten; Staging wirkt realistisch und lässt sich beliebig zurücksetzen.

Grenzen und Prüfbasis

Generierte Daten verpassen Korrelationen, an die niemand gedacht hat, sie zu modellieren (der Kunde, der auch Angestellter ist). Ein maskierter Produktions-Dump behält Struktur und Quasi-Identifikatoren; als pseudonymisiert behandeln, nicht als anonymisiert. Zur Generierungsgeschwindigkeit oder dazu, wie nahe generierte Verteilungen der Produktion kommen, wird nichts behauptet.

Erreichbare Felder und ausgehende Kanäle

Eine reservierte E-Mail-Domain schützt einen Kanal. Generierte Telefonnummern, Postadressen und Kontonummern sind formal gültig und können echt sein, daher stammt jedes Feld, an das ein System senden, liefern oder mit dem es abgleichen könnte, aus einem reservierten Bereich: Domains gemäss RFC 2606 und RFC 6761 (example.com, .test, .invalid), der fiktive NANP-Block 555-0100 bis 555-0199 oder die von nationalen Regulatoren veröffentlichten Drama-Bereiche, RFC-5737-Netze für IP-Adressen sowie die Testnummern und Sandbox-Schlüssel, die SMS- und Zahlungsanbieter dokumentieren. Unabhängig von den Daten stubben Nicht-Produktionsumgebungen jeden ausgehenden Kanal per Konfiguration: ein abfangender SMTP-Server, Sandbox-Zugangsdaten des Anbieters, keine Produktions-API-Schlüssel. Der Stub ist die Garantie; die reservierten Bereiche begrenzen den Schaden, wenn ein Stub fehlt.