Wenn man sehr große Datenbestände hat und das ist bei Geodaten ja recht oft der Fall, packt man diese normalerweise – z. B. in ZIP-Files. Ist die Datenmenge nur groß genug, dauert aber auch das Handling der gepackten Daten mitunter recht lange. Abhilfe schafft hier ein neues, am 09.01.2023 veröffentlichtes Zip-Format: SOZip – suchoptimiertes Zip (Seek-Optimized Zip). In der SOZip-Spezifikation [1] von Even Rouault (vielen bekannt durch GDAL) findet Ihr die Beschreibung, im Blog-Eintrag “SEEK-OPTIMIZED ZIP (SOZIP)” [3] von Bert Temme könnt Ihr Euch an einem Beispiel in das Thema einlesen. Ein SOZip-Docker-Container steht zur Verfügung.
Bei Even Rouault [1] heißt es dazu:
“Was ist SOZip?
Eine Seek-Optimized ZIP-Datei (SOZip) ist eine ZIP-Datei, die eine oder mehrere Deflate-komprimierte Dateien enthält, die so organisiert und kommentiert sind, dass ein SOZip-fähiges Lesegerät einen sehr schnellen wahlfreien Zugriff (Seek) innerhalb einer komprimierten Datei durchführen kann.
SOZip ermöglicht den Zugriff auf große komprimierte Dateien direkt aus einer .zip-Datei ohne vorherige Dekomprimierung. Es handelt sich nicht um ein neues Dateiformat, sondern um ein Profil des bestehenden ZIP-Formats, das vollständig abwärtskompatibel ist. ZIP-Lesegeräte, die nicht SOZip-fähig sind, können eine SOZip-fähige Datei normal lesen und ignorieren die erweiterten Funktionen, die eine effiziente Suchfunktion unterstützen.” [1]
Übersetzt mit DeepL.com
Hier der Original-Tweet vom 09.01.2023 [2]:
[1] … https://github.com/sozip/sozip-spec
[2] … https://twitter.com/EvenRouault/status/1612453946265681922
[3] … https://bertt.wordpress.com/2023/01/10/seek-optimized-zip-sozip/