Importieren von DWD Wetterdaten in InfluxDB

Hallo zusammen,

erstmal herzlichen Glückwunsch zu diesem Mega-Projekt. Ihr habt ja einiges auf die Beine gestellt. Respekt!

Ich hoffe, dass diese Frage hier im Forum ok ist.

Ich erstelle gerade ein System zur Temperatur-Überwachung mithilfe von LoraWAN Sensoren.

Diese senden u.a. Temperatur-Werte zum zentralen TTN (TheThingsNetwork) Server. Von dort werden diese mittels MQTT abgeholt und über Telegraf in eine InfluxDB geschrieben und mit Grafana visualisiert.

Für die Funkübertragung installieren wir TTN Gateways, die von jedermann genutzt werden können.

Nun möchte ich die CDC Daten (Temperaturwerte 10Min) vom DWD (Wetter und Klima - Deutscher Wetterdienst - CDC (Climate Data Center)) mit in die Grafana Dashboards einbinden.

Dazu müssten diese als eine Option in meine lokale InfluxDB geschrieben werden.

Könntet ihr mir hierzu einen Hinweis geben, wie dies für die InfluxDB für weather.hiveeyes.org gemacht wird?

Ich hatte mich auf eurer GitHub Seite umgeschaut aber nicht das passende gefunden.

Ich bin für jeden Tipp sehr dankbar.

Vielen Dank und viele Grüße

Uwe

1 Like

Hi Uwe!

Dein Projekt klingt ja auch spannend … gibts da schon was zu sehen?

Für den DWD-Import zeichne bislang ich bzw. ein kleiner Berg Posix-Shell-Script-Zeilen verantwortlich, die sowas von unschön und unperformant sind, alsdass ich sie bislang nicht veröffentlichen wollte. (Auch Aspekte wie “dokumentierte Bedienbarkeit” oder “Feature-Vollständigkeit” sind sehr unterirdisch.)

Vom Prinzip her läufts alle Stunde per cronjob, holt sich alle aktuellen Stationsmeldungen und schreibt die letzten n Werte ein jeder Station in ein line-protocool-File, splittet dieses (InfluxDB mag pro post-request erstmal nur 20.000 Zeilen) und submitted dann die Chunks über die http-API von InfluxDB. (Falls zu einem Timestamp und einer Station bereits nen Wert vorlag wird dieser einfach überschrieben.)

Da das alles recht mit heißer Nadel gestrickt wurde finden sich auch hier schon Energien das in einer ordentlicheren Umgebung nachzubauen. Insbesondere gucke ich da zu @Andreas, der sich in letzer Zeit dazu dem Projekt “wetterdienst” angenommen hat.

Aber wenn Du magst, schicke ich Dir auch gern schonmal die Importscripte wie sie aktuell laufen.

Eine kleine Abhandlung zu dem, was die aktuellen Scripte am Ende bereitstellen, ist in dem Posting Datenquelle: DWD / Climate-Data-Center (CDC): Wetterdaten (Aufzeichnungen) festgehalten.

1 Like

Hallo Wetterfrosch,

gibt es denn zwischenzeitlich etwas neues von den Skripten für den Datenimport in InfluxDB?
Ich bin Landwirt und baue mir Hof-Dashboards, da wären diese Daten auch sehr praktisch.

Viele Grüße

Simon

Moin Simon,

Also bei meinen desolaten, innerlich-abgeschriebenem Shell-Script gibts nix neues (außer, dass es noch stabil weiterläuft) – haben wollte des der Uwe wohl doch nicht, Du? ;) … Aber wie angedeutet, bei dem Script wetterdienst von @Andreas und anderen hat sich wohl einiges getan, da gabs in der Zwischenzeit so einige Änderungen.

@Andreas, ich hab mich ja auch immernoch nicht rangetraut. In welchem Zustand sollt sich das Projekt denn gefühlt grad befinden? Zuletzt ging ich davon aus am Ende ein paar Werte in der Hand zu haben und denn selbst noch ne Matrize zum Befüttern einer InfluxDB hinten dran hängen zu müssen, aber da gabs ja auch schon Ambitionen, dass der wetterdienst selbst eine InfluxDB befüllen kann. blätter

Zumindest in der Dokumentation (wow, mein Script kennt sowas garnich), taucht schon was mit InfluxDB auf:

  # Store readings to InfluxDB
  fetch --target="influxdb://localhost/?database=dwd&table=weather"

Dit sollt einfach so funktionieren?! Wahnsinn :)

@Simon1 Für mich steht hier halt irgendwann noch die Großbaustelle an das wetterdienst-Pferd zu zäumen und damit mein altes Script abzulösen (und damit ungefähr alle Dashboards hier, die die Wetterdaten nutzen, zu verwirren).

Ach das klingt schön :) Da bin ich doch auch etwas neugierig, wie die so bei Dir aussehen, welche Parameter da für Dich relevant sind? (Wat bauste an, erziehste?)

(Wo ick mich grad ob dieser Pandemie da draußen geschäftlich etwas neu erfinden muss und auch etwas mehr Bezug zum Land gewonnen hab, find ich diesen Zweig auch beruflich grad recht interessant.)

1 Like

Moin Wetterfrosch,

wenn ich das richtig sehe sind über den Wetterdienst-Script bisher ja nur historische Daten verfügbar, oder?
Wie hast du das mit den Vorhersagen gemacht?

Naja, da gibt es sehr viele Daten die landwirtschaftlich interessant sind, das geht von Stromverbräuchen der einzelnen Geräte (Milchkühlung, Wasseraufbereitung für die Kühe etc.) über die Solarerzeugung (knapp 750kW Peak), Autarkiequote bis hin zu aktuellen GPS-Positionen und Zuständen von Traktoren.

Perspektivisch würde ich auch gerne die ganzen Silos (Mineralfutter, Kraftfutter etc) auf dem Hof auf Wiegefüße stellen, um auch den Füllstand bequem im Blick zu haben, Bestellungen sind bereit per App möglich, wäre interessant da vll auch eine Automatik zu integrieren.

Ansonsten gilt es viele Kennzahlen der Kuhherde im Blick zu behalten, da sind momentan noch verschiedene Programme/Apps zu öffnen, das wäre ebenfalls in einem gemeinsamen Dashboard gut aufgehoben.

Darf ich fragen was du aktuell beruflich machst?

Re Simon,

Siehste in der Tat nicht ganz richtig: Zumindest laut README/Coverage kann wetterdienst auch die Vorhersagedaten des Modell-Output-Statistics-Mix (MOSMIX) des DWD importieren. Das sind auch dieselben, die das alte Script bislang hier zur Verfügung stellt (siehe bspw. das DWD CDC MOSMIX Meteogramm für eine Kombination aus historischen und künfigten Werten).

Wohlgemerkt: Es handelt sich hierbei um sog. “Punktvorhersagen”, die nur für bestimmte Orte (5.300 weltweit) erzeugt werden (meist wo sonst auch ne Wetterstation steht), im Unterschied zu “Flächenvorhersagen”, die in Rastergittern für zusammenhängende Fläche erzeugt werden. Letztere haben wir soweit nicht bearbeitet (beim DWD wäre es das ICON-Modell). Die Punktvorhersagen basieren auf dem Flächenmodell, werden aber um “statistische Eigenheiten” auf Basis historischer Werte “verfeinert”, was zu einer besseren Qualität für die jeweiligen Punkte führen soll.

(Schlimm beim DWD ist, dass es keine gemeinsame Stationsnummern- oder Namenslisten für die Messstationen und die Vorhersagepunkte gibt. Aber da für Deine Anwendung ja vmtl maximal nur ne Handvoll interessant sind, lassen die sich ja auch per Hand zuordnen.)

Beim Stichwort “Solar” muss ich grad noch an das Sun and Moon-plugin für Grafana denken. Mit dem könnte man noch den Sonnen(höchst)stand mit in eine bessere Erwartung für die Ertragsvorhersage erzeugen.

Also ein ganzer Zoo an Parametern, mit einer hohen Artenvielfalt! Wie schön :) Dit müssen ja janz schön ordentliche Wägezellen sein …

Und die kommen auch schon aus elektronischen Erfassungen, wo sich dann vmtl häufig so Fragen nach “wie krieg ich die Daten aus dieser und jenen mehr oder weniger proprietären Schnittstelle raus” anschließen?

Jo, ich bin zuallermeist selbstständiger Netzwerkadministrator mit nem – eigentlichen – Schwerpunkt auf Veranstaltungen, aber auch der Ausstattung bzw. dauerhaften Betreuung von Gewerbe-/Wohn- und eben Veranstaltungsstätten. Ob eines Faibles für Meteorologie und der Bekanntschaft zu einigen Akteuren hier hats mich denn hier weiter in den Bann gesogen. Wir beide können ja etwaiges Beschnuppern auch gern per Direktnachricht weiterführen.

1 Like

Sehr gerne,

kann es sein, dass ich als neues Forenmitglied noch keine Privatnachrichten schreiben kann? Ansonsten stell ich mich bloß zu blöd an und finden denn Button nicht :sweat_smile:

Eigentlich nicht; Durch Klick auf den Avatar des Absenders einer Nachricht sollte so nen kleines Overlay mit nem :email:-Symbol auftauchen.

Nope, leider nicht

Hallo zusammen, ich möchte mich auch kurz zurückmelden. Ich bin beruflich zur Zeit stark eingespannt und dieses Projekt musste etwas zurückgestellt werden.
Aber ich bin damals weitergekommen - es ist zumindest nutzbar ;-)
Ich habe Wetterdienst Version 0.7.0 nach einigen Versuchen für meine Bedürfnisse ans Laufen bekommen (Trial&Error - die gefundene Doku hat mir persönlich nicht immer geholfen ;-) )
Mit Hilfe von wetterdienst werden per cron job regelmäßig die 1h und 10 Minuten Temperaturwerte (2m) von zwei Stationen eingelesen. Diese werden für InfluxDB angepasst und dann in die DB geschrieben. Weitere Skripte können genutzt werden um ganze Jahre (1h Werte) oder Monate (10Min Werte) aus der Vergangenheit in the DB zu schreiben.
Dies läuft seit einigen Wochen stabil.
Vielen Dank an die Entwickler von “wetterdienst” !

1 Like

Hallo in die Runde,

Gern geschehen! Den Dank reiche ich gerne weiter an @gutzbenj und bedanke mich gleichzeitig für Euer Interesse.

Wir haben die Dokumentation seit der Version 0.7.0 ordentlich überarbeitet und hoffen, dass die Situation mittlerweile besser geworden ist. Wir nehmen aber jederzeit gerne Verbesserungsvorschläge entgegen.

Ich würde sagen: Gut!

Exakt!

Das stimmt. Die MOSMIX-Vorhersagedaten können zwar bereits bezogen werden (siehe API » MOSMIX), allerdings steht noch keine entsprechende Funktionalität per wetterdienst-Skript zur Verfügung.

Viele Grüße,
Andreas.