Arbeiten mit großen Datenmengen

Learnings

VORBEREITUNGEN 

In diesem Beispiel wollen wir die Grundlagen der deeeper API zum Arbeiten mit großen Datenmengen erkunden. Dieses Tutorial nutzt Python 3.9, im öffentlich verfügbaren Gitlab-Repository finden sich auch Beispiele in Bash. Um ein Grundverständnis der API zu bekommen, empfehlen wir das Tutorial Getting Started.

Zur schnelleren Verarbeitung von Anfragen nutzt die API Paginierung (im englischen Sprachraum als Paging oder Pagination bekannt). Die Ergebnisse sind also beim Überschreiten einer gewissen Anzahl von Objekten in "Seiten" aufgetrennt, die einzeln abgefragt werden können. In diesem Beispiel soll kurz und bündig erklärt werden, wie einzelne Seiten aus der API abfragbar sind. Eine tiefgreifende, technische Dokumentation kann der API Dokumentation entnommen werden.

Die Antwort in JSON-Form auf beliebige Anfragen sieht prinzipiell wie im folgenden Codebeispiel aus:

ANWENDUNG VON PAGINATION 

Im obigen Beispiel zeigt sich das Paging der API. Ist die Anzahl der gefundenen Features zu groß, teilt die API die Antworten in mehrere Teile auf, sogenannte Pages. Den Parametern "numberMatched" und "numberReturned" in der oben gezeigten Antwort können wir entnehmen, dass in der Anfrage nicht alle der Anfrage entsprechenden Objekte zurückgegeben wurden. 

In diesem Falle wurden 123 Objekte gefunden, die die Abfrage erfüllen, jedoch (fürs erste), nur 2 Objekte zurück gegeben. Um alle  zu erhalten, müssen wir iterativ mit verschiedenem offset abfragen (also uns alle Features vom n-ten Objekt an zurück geben lassen). Dazu wählen wir einen sukzessive erhöhten "startIndex" wie im folgenden Codebeispiel beschrieben:

Außerdem fragen wir von der API alle Ackerflächen in der Bounding-Box ab, welche eine Größe von über 50.000 m² haben. Diese können wie schon im Eingangsbeispiel in Folium in Form einer Webkarte geplottet werden.

DARSTELLUNG IN EINER WEBKARTE

Das folgende Snippet stellt dann ähnlich wie in den anderen Tutorials die Möglichkeit dar, die Ergebnisse in einer interaktiven Webkarte zu veranschaulichen. Das Ergebnis befindet sich darunter.