Datenmischwerk

Überblick

Nach dem erfolgreichen Sammeln von imkerlichen Daten

image

bekommen wir nun auch die langersehnten Wetterdaten rein

image


Wir konnten bereits Daten von Feinstaubmessungen erschließen

und versuchen eine Prognose imkerlich relevanter phänologischer Ereignisse

Blütebeginn relevanter Pflanzen

Datum Pflanze Phase Station
2018-02-17 Schneeglöckchen Blüte Beginn Berlin-Dahlem, Berlin
2018-02-19 Hasel Blüte Beginn Berlin-Dahlem, Berlin
2018-03-30 Sal-Weide Blüte Beginn Berlin-Dahlem, Berlin
2018-04-07 Löwenzahn Blüte Beginn Berlin-Dahlem, Berlin
2018-04-15 Süßkirsche, späte Reife Blüte Beginn Berlin-Dahlem, Berlin
2018-04-21 Winterraps Blüte Beginn Berlin-Dahlem, Berlin
2018-04-23 Apfel, frühe Reife Blüte Beginn Berlin-Dahlem, Berlin
2018-05-03 Apfel, späte Reife Blüte Beginn Berlin-Dahlem, Berlin
2018-05-24 Robinie Blüte Beginn Berlin-Dahlem, Berlin
2018-08-20 Heidekraut Blüte Beginn Berlin-Dahlem, Berlin

Prognose des Bienenfluges

Datum morgens mittags abends
Do 12.04. mittlerer mittlerer mittlerer
Fr 13.04. geringer geringer geringer
Sa 14.04. mittlerer starker intensiver

Technische Daten

TBD.

Entwicklungsdetails

Falls Euch die vom DWD erhobenen Wetterdaten genauso wie uns interessieren, gefällt Euch die ausführliche Diskussion zum Thema bestimmt auch:

Außerdem haben wir die von vielen Beobachtern deutschlandweit erhobenen und vom DWD bereitgestellten phänologischen Daten erschlossen

und sind nun dabei, auch die Bienenflugprognosedaten des DWD zu erschließen

Und nun?

Wir

Wir werden uns darum kümmern, dass die bisher diskret gesammelten Daten sinnvoll in Form eines föderierten Gesamtsystems zur Verfügung stehen. Wir wollen konkret:

  • Die Daten der beiden Systeme swarm.hiveeyes.org und weather.hiveeyes.org im jeweils anderen Grafana zur Verfügung stellen.
  • Die Daten von Beobachtungen und Prognosen über phänologische Ereignisse weiter erschließen und als Annotationen mit regionalem Kontext im Grafana zur Verfügung stellen.
  • Die imkerlichen Daten in einer einzigen Datenbank zusammenführen und dabei entsprechende Tags aus den Adressinformationen ableiten, um die interaktive Filterung und Korrelation der Daten im Grafana per “Templating” zu erleichtern.

Und Ihr?

Wir laden Euch herzlich ein, die verschiedenartigen neuen Werkzeuge zu benutzen, uns Rückmeldungen zu geben oder weitere Wünsche zu äußern. Wenn Ihr bei der Weiterentwicklung mitmachen möchtet, freuen wir uns umso mehr.


Have fun!

2 Likes

Technische Details

Grafana mixed data sources

Seitens Grafana haben wir uns dem Thema schon genähert, föderierte Systeme sollten prinzipiell möglich sein:

Wir haben das auch schon ausprobiert:

Datenverarbeitung und -anreicherung

Imkerliche Daten

Wir wollen die Datenhaltung der imkerlichen Daten verbessern und sammeln dazu ein paar Informationen.

Phänologische Daten

Wir wollen phänologische Daten möglichst sinnvoll ins System einbinden und haben dazu ein paar Stichpunkte gesammelt.

Mit reverse geocoding haben wir uns beim Import der Luftdaten bereits auseinandergesetzt, das könnte man auch bei den phänologischen Daten wiederverwenden.

Wetterdaten

TBD.

Feinstaub / Luftdaten

Die Vorstufe zum Datenimport sieht hier derzeit folgendermaßen aus:

The main workhorse, luftdaten-to-mqtt requests data from the live API of luftdaten.info each 10 minutes, enriches it with geographic location information (reverse geocoding) and republishes its results to the MQTT bus. Kotori picks it up from there, stores it into InfluxDB with appropriate tags as pivot points and adds a corresponding Grafana dashboard for data visualization.
– see LuftdatenPumpe

Awesome! :-)

Technische Details zu imkerlichen Daten

Anforderungen

Nehmen wir uns mal das Thema vor, wie wir imkerliche Daten in eine gemeinsame Datenbank zusammenführen können, siehe:

Planung

So in etwa stellen wir uns das vor.

Metadaten

Meßdaten

TBD.

Es gibt bei Föderierte Wetter- und Luftdaten erste Dinge zu sehen, dort sind in einem gemeinsamen Dashboard sowohl Luftdaten (Feinstaubmessungen) vom luftdaten.info Projekt als auch Wetterdaten des DWD zu sehen.

Momentan ist das Dashboard geographisch auf Stuttgart-Echterdingen eingestellt und wurde beschränkt auf den Zeitraum vom 27. bis zum 29. März, da wir davor und danach derzeit leider Lücken in den Daten haben.

Wir würden nun gerne in Eure Hände legen, etwas Sinnvolles daraus zu machen, damit es bald aus dem “Playground” Ordner ausziehen darf ;]. Viel Spaß beim Daten mischen!

1 Like

Gerade habe ich mal den rel.Luftfeuchtewert (für Echterdingen bzw. die ausgewählte Station) aus den DWD-CDC-Daten mit in das luftdaten-Panel als mixed source gezogen - und das funktioniert! Danke @Andreas !

Ah wow, ins Panel - perfekt! Nun müsste man wohl die Legende wieder “unten” anordnen oder komplett aus machen, damit man die Zeitreihen deckungsgleich betrachten kann. Willst Du?

Ich mach die ganze Sache nun vice versa, damit auch den Imkern auf swarm.hiveeyes.org Wetterdaten zur Verfügung stehen.

Sieht gut aus, hier gehts lang zu MUC-MH-B99 plus Wetter.

Die jeweiligen Datenquellen, die jeweils nur eine einzige Datenbank beinhalten, heißen nun übrigens “WETTERDATEN” bzw. “LUFTDATEN”. Bei den imkerlichen Daten gestaltet sich das noch nicht so einfach.

Have fun!

Mega!

Aber im panel " Regenmenge und -dauer und Sonnenschein vs. Gewicht " fehlt uns eine dritte y-Achse… ich bau da mal weiter.

Zusammen mit @einsiedlerkrebs haben wir MUC-MH-B99 plus Wetter vorhin noch ein wenig verbessert: Da wir vor allem an der Sonnenscheindauer interessiert sind, haben wir die Informationen über Regen kurzerhand ausgeblendet - so wird das Ganze übersichtlicher.

Besonderen Dank an dieser Stelle auch noch einmal an @wtf! Endlich wird hier durch die Fusion von imkerlichen mit Wetterdaten möglich, was wir und andere sich schon immer gewünscht haben.

Weitere Anregungen sind gerne willkommen!

1 Like