Importieren von DWD Wetterdaten in InfluxDB

Hallo zusammen,

erstmal herzlichen Glückwunsch zu diesem Mega-Projekt. Ihr habt ja einiges auf die Beine gestellt. Respekt!

Ich hoffe, dass diese Frage hier im Forum ok ist.

Ich erstelle gerade ein System zur Temperatur-Überwachung mithilfe von LoraWAN Sensoren.

Diese senden u.a. Temperatur-Werte zum zentralen TTN (TheThingsNetwork) Server. Von dort werden diese mittels MQTT abgeholt und über Telegraf in eine InfluxDB geschrieben und mit Grafana visualisiert.

Für die Funkübertragung installieren wir TTN Gateways, die von jedermann genutzt werden können.

Nun möchte ich die CDC Daten (Temperaturwerte 10Min) vom DWD (Wetter und Klima - Deutscher Wetterdienst - CDC (Climate Data Center)) mit in die Grafana Dashboards einbinden.

Dazu müssten diese als eine Option in meine lokale InfluxDB geschrieben werden.

Könntet ihr mir hierzu einen Hinweis geben, wie dies für die InfluxDB für weather.hiveeyes.org gemacht wird?

Ich hatte mich auf eurer GitHub Seite umgeschaut aber nicht das passende gefunden.

Ich bin für jeden Tipp sehr dankbar.

Vielen Dank und viele Grüße

Uwe

Hi Uwe!

Dein Projekt klingt ja auch spannend … gibts da schon was zu sehen?

Für den DWD-Import zeichne bislang ich bzw. ein kleiner Berg Posix-Shell-Script-Zeilen verantwortlich, die sowas von unschön und unperformant sind, alsdass ich sie bislang nicht veröffentlichen wollte. (Auch Aspekte wie “dokumentierte Bedienbarkeit” oder “Feature-Vollständigkeit” sind sehr unterirdisch.)

Vom Prinzip her läufts alle Stunde per cronjob, holt sich alle aktuellen Stationsmeldungen und schreibt die letzten n Werte ein jeder Station in ein line-protocool-File, splittet dieses (InfluxDB mag pro post-request erstmal nur 20.000 Zeilen) und submitted dann die Chunks über die http-API von InfluxDB. (Falls zu einem Timestamp und einer Station bereits nen Wert vorlag wird dieser einfach überschrieben.)

Da das alles recht mit heißer Nadel gestrickt wurde finden sich auch hier schon Energien das in einer ordentlicheren Umgebung nachzubauen. Insbesondere gucke ich da zu @Andreas, der sich in letzer Zeit dazu dem Projekt “wetterdienst” angenommen hat.

Aber wenn Du magst, schicke ich Dir auch gern schonmal die Importscripte wie sie aktuell laufen.

Eine kleine Abhandlung zu dem, was die aktuellen Scripte am Ende bereitstellen, ist in dem Posting Datenquelle: DWD / Climate-Data-Center (CDC): Wetterdaten (Aufzeichnungen) festgehalten.