DWD-Prognose Bienenflug

Umweltdaten Umweltdatenquellen
,
1

Seht ihr eine Möglichkeit, die lokalen Prognosen des DWD für den Bienenflug von dieser Seite (Modell: DWD “Prognose der Bienenflugintensität”) abzugreifen, in die Datenbank zu legen und in einem Dashboard darzustellen? Das html müsste wohl geparst werden. Es sind immer mehrere Standorte pro Bundesland verfügbar, wovon man einen davon für sein Dashboard auswählen und auch als Tabelle darstellen könnte. Die Prognosen werden einmal pro Tag gegen 8Uhr auf den Seiten aktualisiert. Ich fände das sehr nützlich. Was denkt ihr?

2 Likes
2

Sehr interessant, danke @thias!

Absolut!

Weitere Informationen

Hier finden sich detailliertere Beschreibungen über das zugrunde liegende Rechenmodell:

Vorgehensweise

Man müsste also über Wetter und Klima - Deutscher Wetterdienst - Gartenwetter einsteigen und sich dann über die Ebene der Bundesländer auf die Stationsebene durchhangeln, um dann schließlich diese Tabelle hier zu parsen, richtig?
image

Fragen

  1. Gäbe es die Daten nicht auch irgendwo unter ftp://ftp-cdc.dwd.de/pub/CDC/? Das wäre natürlich praktischer. Ich vermute aber, Du hast dort schon danach gefahndet und bist nicht fündig geworden, stimmts?
  2. Fändest Du phenodata geeignet, um die passende Implementierung darin unterzubringen?
1 Like
3

Richtig, diese Prognose finde ich nicht auf dem FTP Server.

Da es ein reines Prognoseprodukt und speziell auf die Imkerei zugeschnitten ist, passt es mMn nicht so richtig nach phenodata.

4

Verstehe ich. Hast Du einen guten Vorschlag zur Namensgebung für ein weiteres Python Programmpaket, mit dem man dann diesen Anwendungsfall sowie u.U. auch den unter Varroawetter beschriebenen und vielleicht auch darüber hinaus in einem Aufwasch abdecken könnte? Pragmatisch wäre “beedata”, ich wäre aber auch für andere Vorschläge offen.

Synopsis:

beedata forecast --source=dwd --kind=beeflight [--filter=brandenburg]
beedata forecast --source=dwd --kind=beeflight [--latitude=52.520007 --longitude=13.404954]

beedata forecast --source=rlp --kind=varroa [--filter=brandenburg]
beedata forecast --source=rlp --kind=varroa [--latitude=52.520007 --longitude=13.404954]
5

apicast 😁

1 Like
7

Nur als Start, die weiteren Fleißarbeiten müssen wir auf später verschieben, von der vollautomatischen Publizierung direkt ins Grafana ganz zu schweigen ;] (pull requests welcome!):

Beispiel

python apicast.py https://www.dwd.de/DE/fachnutzer/freizeitgaertner/1_gartenwetter/berlin_brandenburg/potsdam/_node.html

Ergebnis

Prognose des Bienenfluges am Standort Potsdam

Datum morgens mittags abends
Do 12.04. mittlerer mittlerer mittlerer
Fr 13.04. geringer geringer geringer
Sa 14.04. mittlerer starker intensiver

Danke, @thias!

1 Like
8

Hmm, hört sich jetzt nicht so stabil an. Der Algorithmus ist nicht publiziert, oder? Die Rohdaten haben wir ja schon erschlossen.

Hier auch noch eine Beschreibung des DWD

https://www.dwd.de/DE/fachnutzer/freizeitgaertner/dokumentation/gw_bienenflug.pdf?__blob=publicationFile&v=4

9

Dafür bräuchten wir Prognosedaten, die der DWD aus seinem Vorhersagezyklus generiert. Historische Wetterdaten helfen da nicht weiter. Bezweifle auch, dass der DWD sein empirisches Modell rausrücken würde.

10

die extrahierten Orte nach Bundesland sortiert: apicast_sites.txt (2,2 KB). Denke, die Liste ändert sich nicht entscheidend in der Zukunft.

EDIT: Liste erweitert mit ausführlichem Ortsbezeichner

2 Likes
11

Das ist kein Problem, die halbe Welt funktioniert so.

Oben gibt es was (das PDF Dokument): DWD-Prognose Bienenflug - #2 by Andreas

12

Exzellent, dann müssen wir das nicht dynamisch scrapen. Danke!

13

Aber ohne die Empirik dahinter kommen wir nicht weiter.

Wenn sich das html nicht ändert kann ich auch mein quickanddirty bash Skript teilen, das die Extraktion erledigt.

14

Gern. Dann können wir immer noch entscheiden, ob apicast die fertige Liste benutzt oder sie sich nochmal frisch besorgt.

15

Aufgrund des Interesses bei

habe ich apicast ein wenig weiter vorangetrieben. Die Verbesserungen grob im Überblick sind:

  • Aktualisiert auf Python 3.
  • Stationsliste nun auch per "apicast beeflight stations".
  • Verfügbar auf PyPI und installierbar per "pip install apicast".
  • HTTP API – verfügbar unter http://apicast.hiveeyes.org/.

Beispiel

[
    {
        "Datum": "Mo 01.06.",
        "abends": "stark",
        "mittags": "stark",
        "morgens": "stark"
    },
    {
        "Datum": "Di 02.06.",
        "abends": "intensiv",
        "mittags": "intensiv",
        "morgens": "intensiv"
    },
    {
        "Datum": "Mi 03.06.",
        "abends": "stark",
        "mittags": "intensiv",
        "morgens": "stark"
    }
]

– http://apicast.hiveeyes.org/beeflight/forecast/germany/schleswig-holstein_hamburg/hamburg

4 Likes
16

Ein wenig ist gut… da bleibt mir glatt der Mund vor Staunen offen stehen.
Hab gestern den ganzen Abend nur erfolglos nach einer Arduino Parsing Libary gesucht, die HTML Tabellen analysieren kann. Bin jetzt gerade Mal so weit, das ich die Https Seite im ESP32 geladen bekomme und anfange die Tabelle mit Findtext zu zerlegen.

Und Du @Andreas kommst gleich mit einer perfekten Umsetzung als Http-Api um die Ecke, wo man auch noch bequem die einzelnen Regionen/Standorte abfragen kann.
Vielen Dank an Dich und ebenfalls auch @Thias!

Hoffe du kannst die API zusätzlich auch nutzen, um die Daten ins Grafana zu bekommen.

2 Likes
17

Na es war ja auch höchste Zeit ;]. Gern geschehen!

Eben. Da programmiert man sich (in C/C++) einen Ast, daher wollte ich Dir die mühselige Arbeit ersparen.

Auf jeden Fall kommt man nun komfortabler an die Daten ran. Das wiederum komfortabel in Grafana-Annotationen konvergieren zu lassen, bräuchte schon noch einige extra Umdrehungen.

1 Like
18

Es ist schon wieder März (2021)

2 Likes
19

Back in town?

Obwohl das Angebot vom DWD bei Wetter und Klima - Deutscher Wetterdienst - Leistungen - Bienenflug nun wieder besteht, liefern Stichproben-Anfragen zu

leider

{
  "error": "No forecast available for this station"
}

Auch hier werden nur leere Ergebnisse geliefert:

Da ist wohl nun etwas anders, so dass GitHub - hiveeyes/apicast: Apicast acquires bee flight forecast information published by Deutscher Wetterdienst (DWD) nicht mehr funktioniert.

20

It seems the html template at DWD has changed. It looks different to me compared to last year.

21

Yes. I already investigated the new interface and will hopefully be able to come up with an updated software release soon.

2 Likes