EarthServer

Zum Projekt-Website

Das Projekt EarthServer hat Open Access etabliert und spezialisierte Analytics für extrem große Earth Science-Daten auf der Basis und durch Erweiterung moderner Array-Datenbank-Technologien bereitgestellt.

Das Projekt EarthServer hat typische Datenbank-Query-Sprachen als Client/Server-Schnittstellen verwendet, um barrierefreie "Mix & Match"-Zugriffe auf mehrdimensionale, mehrquellige, raum-zeitliche Daten ohne Einschränkung der physischen Größe zu ermöglichen, kurz "Big Earth Data Analytics" genannt. Dies basiert auf offenen Standards von OGC WCPS (auch bekannt als "XQuery on raster data") und W3C XQuery. EarthServer kombiniert beides und erreicht so eine enge Integration von Daten und Metadaten. Außerdem wurde das Rasdaman Array Database System durch neue, raum-zeitliche Datentypen Coverage erweitert. Auf der Serverseite sicherten extrem effiziente Optimierungen, wie parallele und verteilte Query-Verarbeitung, die Skalierbarkeit bis hin zu Exabyte.

Sechs Lighthouse-Anwendungen, jede mit über 100 TB Daten, haben die Machbarkeit des gewählten Ansatzes demonstriert. Die Erfahrungen wurden in den Standardisierungsprozess für die Weiterentwicklung der OGC-Spezifikationen eingebracht.

Im Bereich Forschung und Technologieentwicklung hat EarthServer eine neue Open-Source-Client- und Server-Technologie entwickelt, die sich als skalierbar bis zu Exabyte erwiesen hat, basierend auf verteilter Verarbeitung, Supercomputing und Cloud-Virtualisierung. Die Implementierungen basierten auf dem verfügbaren rasdaman Big Data Analytics Server. Swing-IT war Subunternehmer im Rahmen von WP350 – Skalierbarkeit und WP360 – Client.