Grundlagen spaltenorientierter Speicherung: wie eine Parquet-Datei aufgebaut ist und warum analytische Lesezugriffe weniger Daten berühren

Worum es geht

Das zitierte Parquet-Glossar definiert die Hierarchie: Eine Datei besteht aus einer oder mehreren Row Groups; eine Row Group ist eine horizontale Partition der Zeilen und besteht aus einem Column Chunk je Spalte; Column Chunks liegen zusammenhängend in der Datei und sind in Pages unterteilt; eine Page ist die unteilbare Einheit für Kodierung und Kompression. Die zitierte Seite zum Dateiformat hält fest, dass die Dateimetadaten nach den Daten geschrieben werden, um das Schreiben in einem einzigen Durchgang zu ermöglichen, und dass lesende Stellen die Dateimetadaten zuerst lesen sollen, um die Column Chunks zu finden, an denen sie interessiert sind. Weil alle Werte einer Spalte innerhalb einer Row Group zusammen gespeichert werden, können Kodierungen ihre Ähnlichkeit ausnutzen: Die zitierte Seite zu den Kodierungen beschreibt Dictionary-Kodierung, die ein Wörterbuch der in einem Column Chunk vorkommenden Werte aufbaut, es in einer Dictionary-Page ablegt und die Werte als Ganzzahl-Indizes mit einem Lauflängen-/Bit-Packing-Hybrid schreibt, wobei bei einem zu gross werdenden Wörterbuch auf einfache Kodierung zurückgefallen wird. Der zitierte Page-Index fügt Min- und Max-Werte je Page hinzu, sodass Bereichs-Scans und Punktabfragen nur jene Pages lesen müssen, die passende Zeilen enthalten könnten.

Warum es wichtig ist

Eine analytische Abfrage liest typischerweise wenige Spalten aus vielen Zeilen. Eine zeilenorientierte Datei (CSV, JSON Lines) zwingt die lesende Stelle, jedes Byte jeder Zeile zu parsen; eine spaltenorientierte Datei erlaubt es, nur die Chunks der projizierten Spalten zu lesen, ganze Row Groups zu überspringen, deren Statistiken das Prädikat ausschliessen, und kompakte Ganzzahl-Indizes zu dekodieren statt wiederholter Zeichenketten. Dieselbe Anordnung eignet sich schlecht dafür, einen ganzen Datensatz zu lesen oder Zeilen an Ort und Stelle zu aktualisieren: Eine Parquet-Datei wird einmal geschrieben und ersetzt, nicht bearbeitet.

So wird es angewendet

• Zeilen vor dem Schreiben nach den am häufigsten gefilterten Spalten sortieren oder clustern; Min/Max-Pruning hilft nur, wenn die Werte innerhalb einer Page nahe beieinanderliegen.
• Datensätze anhand eines groben Schlüssels (Datum, Region) in Verzeichnisse partitionieren und Dateien gross genug halten, damit sich Footer und Wörterbücher amortisieren; Tausende winzige Dateien kosten mehr an Metadaten-Lesezugriffen, als sie einsparen.
• Die engsten korrekten Typen und logischen Typen verwenden (Datumswerte, Dezimalzahlen, Zeitstempel mit angegebener Einheit), damit Statistiken und Kodierungen funktionieren und lesende Stellen sich über die Bedeutung einig sind.
• Mit der Explain-Ausgabe der Abfrage-Engine prüfen, dass Spaltenprojektion und Predicate Pushdown tatsächlich bis zur lesenden Stelle durchdringen; ein nach einem vollständigen Scan angewendeter Filter bringt nichts.

Stolpersteine

Zeichenketten-Spalten mit hoher Kardinalität unterlaufen die Dictionary-Kodierung und fallen auf einfache Kodierung zurück, was Dateien aufbläht. Verschachtelte und wiederholte Felder verwenden Definition- und Repetition-Levels, die manche Werkzeuge uneinheitlich behandeln. Die Wahl des Kompressions-Codecs erfolgt je Column Chunk; ein Codec, den die lesende Stelle nicht kennt, macht die Datei dort unlesbar.