Hallo zusammen,
erstmal vielen Dank für dieses tolle Projekt. Ich bin bei dem Versuch die Wettermessdaten vom DWD zu visualisieren auf euch gestoßen als ich merkte, dass ihr ja schon genau das getan habt.
Jetzt wundere ich mich gerade nur darüber, dass z.B. hier: Grafana (aber auch für andere Stationen) die Niederschlagsmesswerte der letzten Zeit alle 0 sind? Geht da vielleicht etwas schief, oder sind evtl. die Rohdaten irgendwie falsch?
Hallo @andbar,
Vielen Dank für die Blumen. Ich reiche sie hiermit gleich weiter an @wtf.
Ich glaube wir mussten da neulich etwas ausdünnen, weil die Datenbank zu viel Speicher beanspruchte. Vielleicht haben wir vergessen, den entsprechenden Datenfeed danach wieder anzuschalten. Könntest Du hier einmal nachsehen, @wtf?
Viele Grüße,
Andreas.
Diese sowie etliche weitere Werte fehlen für jetzt ziemlich genau vier Monate (seit Anfang Dezember '22) und werden seit 21.3.2023 wieder fortlaufend importiert.
Grund dafür ist eine Not-Löschung vor ca. 14 Tagen aufgrund der schieren Datenmenge vor allem der Wetterdaten (DWD CDC) mit knapp 50 GB sowie der LDI (luftdaten.info)-Daten mit etwa 20 GB. Hierbei war die Serie dwd_cdc.dwd_cdc_precipitation_last_1min_sum_mm mit über 2 GB die größte einzelne Reihe.
InfluxDB hat uns hier seinen Dienst versagt und war kaum noch ansprechbar. Das führte beim Reparieren dazu, daß ein logisches Löschen auf Datenbank-Ebene (also z.B. “lösche alle DWD-Messungen vor dem 1.5.21”) nicht mehr pariert wurden, sondern InfluxDB leider während dessen abstürzte. Deshalb waren nur noch Löschungen auf file-Ebene möglich, hierbei wurden allerdings die vier letzten Monate “erwischt” - daher finden sich diese Werte z.Z. nicht in der Datenbank, und daher auch nicht im Grafana.
Das ist an sich nicht tragisch, denn wir importieren diese ja vom DWD-FTP-Server und können dies somit auch zu jedem Zeitpunkt nachträglich machen und sie einfügen lassen (und natürlich zuvor eher die älteren lokalen Daten löschen). Schade ist es gegenwärtig deshalb, da z.B. die Berechnung der Grünland-Temperatursumme aufgrund fehlender Werte genau dieses Zeitraums nicht funktioniert.
Der Import läuft gegenwärtig mit einem großen shell-Geraffel von @wtf und soll lieber früher als später auf Wetterdienst (da sind @gutzbenj und @Andreas die Autoren) umgestellt werden. Das wird dann z.B. auch Wertesprünge verhindern, wie wir sie gegenwärtig in den 2m-Temperaturen haben, die dann auch gleich leider die Taupunkt-Berechnung in den dashboards “versauen”.
Zu dem von Dir zitierten dashboard: Dort sind auch die DWD-MOSMIX-Werte für die Vorhersage enthalten, wofür dieses dashboard vor allem gebaut wurde. Grafana’s Stärke ist nicht unbedingt die Darstellung von Werten in der Zukunft; diese auch noch mit den CDC-(Vergangenheits-) Werten zu mischen, macht dieses dashboard extra ‘teuer’. Du hast dort manuell den FROM-Zeitpunkt auf ‘now-30’ Tage’ eingestellt. Das geht zwar, aber nimm dafür besser eher dashboards wie z.B. die CDC-Stationsansicht.
Ok! Danke für die ausführliche Antwort. Die now-30 hatte ich eigentlich nur eingestellt um zu sehen, dass wirklich etwas nicht stimmen kann und es nicht einfach nur paar Tage nicht geregnet hat. Danke auch für den Link zu der Stationsansicht. Ich will eure Server auch nicht überstrapazieren, also weiß nicht genau für welche Nutzung das gedacht ist? Ich bau mir evtl. sonst etwas ähnliches selbst nochmal nach. Gerade die gemeinsame Darstellung von historischen Werten und Vorhersage finde ich aber sehr interessant. Wüsstest du ein Tool mit dem das besser ginge, weil du sagtest das sei keine Stärke von Grafana?
Hallo @andbar,
danke für Dein Interesse. @wtf berichtet bestimmt gerne weitere Details, wenn sich die Zeit findet.
Genau. Das ist der Plan.
“Three things are (almost) infinite: the universe, human stupidity and the temperature time series of Hohenpeissenberg, Germany, I got with the help of wetterdienst; and I’m not sure about the universe.”
– Albert Einstein
Ich könnte mir vorstellen, dass wir dann auch entsprechende Nachbauanleitungen in der Dokumentation von Wetterdienst ergänzen, ähnlich wie wir es bei der Luftdatenpumpe gemacht haben [1].
Bei Wetterdienst: Ein neuer Werkzeugkasten für den Zugriff auf Wetterdaten des Deutschen Wetterdienstes (DWD) basierend auf pandas gibt es ein paar weitere Informationen über das Vorhaben.
Viele Grüße,
Andreas.
Dafür sind die da! ,) Dort sind auch noch mehr sehenswerte dashboards zu finden, z.B. die Veränderungen der Eisfläche der Polkappen der Erde in den letzten 40 Jahren, oder föderierte DWD CDC- sowie LDI-Daten in einem dashboard, was z.B. Einschätzungen zur Güte der Amateur-Sensoren bei amtlich gemessener Luftfeuchte erlaubt.
Primär ist das für die Imker und Imkerinnen dieses Forums gedacht, die sich in ihre Grafana-dashboards der lokalen Bienenstände (bei swarm.hiveeyes.org) zusätzlich Wetterdaten einbauen möchten, darüber hinaus natürlich für alle am meteorologischen Geschehen Interessierte.
Doch, das kann Grafana schon, aber Du wirst sehen, wenn Du Dir z.B. mal das panel-JSON der Lufttemperaturen des ersten von Dir genannten dashboards ansiehst, was alles nötig ist, Vergangenheit und Vorhersage in einem panel darzustellen (die Datenbankabfragen sind im panel-JSON zu sehen). Das geht nur noch mit Flux und nicht mehr mit InfluxQL.
Kann es sein, dass man an diesem Diagramm sieht, dass für manche Stationen die Niederschlagsdaten noch fehlen:
z.B. in Hamburg ?
Doch, das kann Grafana schon, aber Du wirst sehen, wenn Du Dir z.B. mal das panel-JSON der Lufttemperaturen des ersten von Dir genannten dashboards ansiehst, was alles nötig ist, Vergangenheit und Vorhersage in einem panel darzustellen (die Datenbankabfragen sind im panel-JSON zu sehen). Das geht nur noch mit Flux und nicht mehr mit InfluxQL
Ah ja, ok Danke :) Wenn man die beiden Datenserien in zwei getrennte Diagramme tun würde hätte man es aber einfacher oder?
