Datenexportschnittstellen verbessern

Wir wollen die Möglichkeiten zum Datenexport weiter verbessern, in einigen Bereichen müssen wir dazu unsere interne Datenverarbeitung verbessern.

Export von Daten des DWD

Einleitung

Status quo

Wir hätten hier derzeit verschiedene Möglichkeiten.

1. Sauberer Datenexport über offizielle HTTP API

Da wir die DWD Daten bisher noch unter der Haube in einem vorläufigen Schema verwalten, haben wir an dieser Stelle noch keine offizielle Exportschnittstelle, die das Label “API” verdienen könnte. Hoffentlich können wir das im Laufe des Jahres nachreichen.

2. Datenexport direkt über die HTTP API der InfluxDB

Da wir derzeit noch keinerlei credential- oder token-basierte Authentifizierung auf der InfluxDB Ebene eingeführt haben, können wir momentan nur IP-basierte Authentifizierung anbieten. Wenn man also von einer festen IP Adresse anfragt, könnten wir da was tun – eigentlich aber ungern, wir nutzen das bisher nur zur internen Kopplung der Systeme.

3. Datenexport via Grafana

Über Grafana Panels innerhalb eines Dashboards kann man interaktiv einen CSV Export erzeugen, siehe https://community.hiveeyes.org/t/export-von-dwd-daten/1679.

Ausblick

Bitte berücksichtigt, dass die bei 3. beschriebene Funktionalität noch sehr umständlich zu handhaben ist, wenn man alle Wetterdaten (eines bestimmten Zeitraums) beziehen will, da man Exporte nur “per-panel” durchführen kann. Deshalb brauchen wir an dieser Stelle mittelfristig eine bessere Exportschnittstelle, auch fürs Datenmischwerk und bei BOB wünschen wir uns das.