Datenmischwerk

[Andreas]

Überblick

Nach dem erfolgreichen Sammeln von imkerlichen Daten

bekommen wir nun auch die langersehnten Wetterdaten rein

---

Wir konnten bereits Daten von Feinstaubmessungen erschließen

und versuchen eine Prognose imkerlich relevanter phänologischer Ereignisse

Blütebeginn relevanter Pflanzen

Datum	Pflanze	Phase	Station
2018-02-17	Schneeglöckchen	Blüte Beginn	Berlin-Dahlem, Berlin
2018-02-19	Hasel	Blüte Beginn	Berlin-Dahlem, Berlin
2018-03-30	Sal-Weide	Blüte Beginn	Berlin-Dahlem, Berlin
2018-04-07	Löwenzahn	Blüte Beginn	Berlin-Dahlem, Berlin
2018-04-15	Süßkirsche, späte Reife	Blüte Beginn	Berlin-Dahlem, Berlin
2018-04-21	Winterraps	Blüte Beginn	Berlin-Dahlem, Berlin
2018-04-23	Apfel, frühe Reife	Blüte Beginn	Berlin-Dahlem, Berlin
2018-05-03	Apfel, späte Reife	Blüte Beginn	Berlin-Dahlem, Berlin
2018-05-24	Robinie	Blüte Beginn	Berlin-Dahlem, Berlin
2018-08-20	Heidekraut	Blüte Beginn	Berlin-Dahlem, Berlin

Prognose des Bienenfluges

Datum	morgens	mittags	abends
Do 12.04.	mittlerer	mittlerer	mittlerer
Fr 13.04.	geringer	geringer	geringer
Sa 14.04.	mittlerer	starker	intensiver

Technische Daten

TBD.

Entwicklungsdetails

Falls Euch die vom DWD erhobenen Wetterdaten genauso wie uns interessieren, gefällt Euch die ausführliche Diskussion zum Thema bestimmt auch:

Open weather data

Wie wärs mit Deutschem Wetterdienst? cool, dass es dieses thema hier schon gibt, @karsten und @clemens. und weils heute regnet, das das kistengewicht hebt, ich aber in vier wochen vergessen haben werde, dass es heute geregnet hat und mich dann fragen werde, warum die kiste so viel schwerer geworden ist, wärme ichs jetzt nochmal auf. ich hätte also gerne einen chart mit niederschlagsdaten, möglichst lokal, möglichst enge zeitintervalle. das beste was ich da finde, sind die halbstündlichen daten…

Außerdem haben wir die von vielen Beobachtern deutschlandweit erhobenen und vom DWD bereitgestellten phänologischen Daten erschlossen

Phänologischer Kalender für Trachtpflanzen

Für die kommende Saison bekommt das Thema rund um den langgehegten Wunsch, phänologische Daten im System zu haben und z.B. für Annotationen im Grafana oder Benachrichtigungen an die Imker verwenden zu können, wieder einmal etwas Aufmerksamkeit. Wir sind ein wenig in die Details der vom DWD erhobenen Daten eingestiegen und haben uns einen Plan zurechtgelegt. Viel Spaß beim Nachlesen!

und sind nun dabei, auch die Bienenflugprognosedaten des DWD zu erschließen

DWD-Prognose Bienenflug

Seht ihr eine Möglichkeit, die lokalen Prognosen des DWD für den Bienenflug von dieser Seite (Modell: DWD “Prognose der Bienenflugintensität”) abzugreifen, in die Datenbank zu legen und in einem Dashboard darzustellen? Das html müsste wohl geparst werden. Es sind immer mehrere Standorte pro Bundesland verfügbar, wovon man einen davon für sein Dashboard auswählen und auch als Tabelle darstellen könnte. Die Prognosen werden einmal pro Tag gegen 8Uhr auf den Seiten aktualisiert. Ich fände das sehr…

Und nun?

Wir

Wir werden uns darum kümmern, dass die bisher diskret gesammelten Daten sinnvoll in Form eines föderierten Gesamtsystems zur Verfügung stehen. Wir wollen konkret:

• Die Daten der beiden Systeme swarm.hiveeyes.org und weather.hiveeyes.org im jeweils anderen Grafana zur Verfügung stellen.
• Die Daten von Beobachtungen und Prognosen über phänologische Ereignisse weiter erschließen und als Annotationen mit regionalem Kontext im Grafana zur Verfügung stellen.
• Die imkerlichen Daten in einer einzigen Datenbank zusammenführen und dabei entsprechende Tags aus den Adressinformationen ableiten, um die interaktive Filterung und Korrelation der Daten im Grafana per “Templating” zu erleichtern.

Und Ihr?

Wir laden Euch herzlich ein, die verschiedenartigen neuen Werkzeuge zu benutzen, uns Rückmeldungen zu geben oder weitere Wünsche zu äußern. Wenn Ihr bei der Weiterentwicklung mitmachen möchtet, freuen wir uns umso mehr.

---

Have fun!

[Andreas]

Technische Details

Grafana mixed data sources

Seitens Grafana haben wir uns dem Thema schon genähert, föderierte Systeme sollten prinzipiell möglich sein:

Gewicht von zwei Waagen in einer Grafik kombinieren

Das muss ich direkt revidieren. Das Feature mixed data sources gibt es wohl seit Grafana 2.5

Wir haben das auch schon ausprobiert:

Gewicht von zwei Waagen in einer Grafik kombinieren

Ok, etwas kompliziert und unschön gemacht von der UX, aber es funktioniert ja wenn man weiß wie! :-) es funktioniert nur mit dem Anlegen einer neuen query, bestehende kann man nicht ändern man muss beim drop down der Datenbank ganz nach unten scrollen dann wählt man den Eintrag --Mixed-- aus, genau den, das ist kein Trenner o.ä. nicht default darunter wählen, sondern genau --Mixed-- dann “Add Query” anklicken. nun wird der button zum dropdown zur Auswahl der Datenbank für diese Datenreihe! […

Datenverarbeitung und -anreicherung

Imkerliche Daten

Wir wollen die Datenhaltung der imkerlichen Daten verbessern und sammeln dazu ein paar Informationen.

Datenmischwerk

Technische Details zu imkerlichen Daten Anforderungen Nehmen wir uns mal das Thema vor, wie wir imkerliche Daten in eine gemeinsame Datenbank zusammenführen können, siehe: Planung So in etwa stellen wir uns das vor. Metadaten Meßdaten TBD.

Phänologische Daten

Wir wollen phänologische Daten möglichst sinnvoll ins System einbinden und haben dazu ein paar Stichpunkte gesammelt.

Phänologischer Kalender für Trachtpflanzen

Versuche einmal zu skizzieren wie eine Lösung aussehen könnte Import der Daten vom DWD-Server – Beobachtungsdaten pro Frucht – Datensätze der Standorte ggf. Anpassung / Konvertierung der Daten, z.B. Zahlenformat Anreicherung der Beobachtungsdaten mit Geodaten, d.h. – über die Standort-ID Längen- und Breitengrad in Datensatz 2 ermitteln – dies in Datensatz 1 hinzufügen – über die Geodaten Bundesland oder Regierungsbezirk, … bestimmen Datums-Mittel berechnen (arithm. Mittel / mean) pro Bun…

Mit reverse geocoding haben wir uns beim Import der Luftdaten bereits auseinandergesetzt, das könnte man auch bei den phänologischen Daten wiederverwenden.

Wetterdaten

TBD.

Feinstaub / Luftdaten

Die Vorstufe zum Datenimport sieht hier derzeit folgendermaßen aus:

The main workhorse, luftdaten-to-mqtt requests data from the live API of luftdaten.info each 10 minutes, enriches it with geographic location information (reverse geocoding) and republishes its results to the MQTT bus. Kotori picks it up from there, stores it into InfluxDB with appropriate tags as pivot points and adds a corresponding Grafana dashboard for data visualization.
– see LuftdatenPumpe

[clemens]

Awesome! :-)

[Andreas]

Technische Details zu imkerlichen Daten

Anforderungen

Nehmen wir uns mal das Thema vor, wie wir imkerliche Daten in eine gemeinsame Datenbank zusammenführen können, siehe:

@Andreas

Wir werden uns darum kümmern, dass die bisher diskret gesammelten Daten sinnvoll in Form eines föderierten Gesamtsystems zur Verfügung stehen. Wir wollen konkret:

• Die imkerlichen Daten in einer einzigen Datenbank zusammenführen und dabei entsprechende Tags aus den Adressinformationen ableiten, um die interaktive Filterung und Korrelation der Daten im Grafana per “Templating” zu erleichtern.

Gewicht von zwei Waagen in einer Grafik kombinieren

Ja, leider. Das Problem ist bekannt und wartet auch schon darauf, adressiert zu werden, siehe: Wir bitten um etwas Geduld ;].

Planung

So in etwa stellen wir uns das vor.

Metadaten

Imkerliche Metadaten

Einleitung Hier soll es um den Empfang und die Verarbeitung imkerlicher Metadaten gehen, die zusammen mit den Meßdaten empfangen oder aus ihnen abgeleitet werden. Hintergrund Zusammen mit @einsiedlerkrebs wurde das Speicherungskonzept von Kotori so ausgelegt, dass die Daten unterschiedlicher Kanäle in separaten Datenbanken gespeichert werden. Das ist auch sinnvoll, weil wir ein mandantenfähiges System implementieren wollten, bei dem die Datenkanäle und deren Speicherorte voneinander isoliert si…

Meßdaten

TBD.

[Andreas]

@Andreas

Wir werden uns darum kümmern, dass die bisher diskret gesammelten Daten sinnvoll in Form eines föderierten Gesamtsystems zur Verfügung stehen. Wir wollen konkret:

• Die Daten der beiden Systeme swarm.hiveeyes.org und weather.hiveeyes.org im jeweils anderen Grafana zur Verfügung stellen.

Es gibt bei Föderierte Wetter- und Luftdaten erste Dinge zu sehen, dort sind in einem gemeinsamen Dashboard sowohl Luftdaten (Feinstaubmessungen) vom luftdaten.info Projekt als auch Wetterdaten des DWD zu sehen.

Momentan ist das Dashboard geographisch auf Stuttgart-Echterdingen eingestellt und wurde beschränkt auf den Zeitraum vom 27. bis zum 29. März, da wir davor und danach derzeit leider Lücken in den Daten haben.

Wir würden nun gerne in Eure Hände legen, etwas Sinnvolles daraus zu machen, damit es bald aus dem “Playground” Ordner ausziehen darf ;]. Viel Spaß beim Daten mischen!

[weef]

Gerade habe ich mal den rel.Luftfeuchtewert (für Echterdingen bzw. die ausgewählte Station) aus den DWD-CDC-Daten mit in das luftdaten-Panel als mixed source gezogen - und das funktioniert! Danke @Andreas !

[Andreas]

@weef

Gerade habe ich mal den rel. Luftfeuchtewert […] aus den DWD-CDC-Daten mit in das luftdaten-Panel als mixed source gezogen - und das funktioniert!

Ah wow, ins Panel - perfekt! Nun müsste man wohl die Legende wieder “unten” anordnen oder komplett aus machen, damit man die Zeitreihen deckungsgleich betrachten kann. Willst Du?

Ich mach die ganze Sache nun vice versa, damit auch den Imkern auf swarm.hiveeyes.org Wetterdaten zur Verfügung stehen.

[Andreas]

@Andreas

Ich mach die ganze Sache nun vice versa, damit auch den Imkern auf swarm.hiveeyes.org Wetterdaten zur Verfügung stehen.

Sieht gut aus, hier gehts lang zu MUC-MH-B99 plus Wetter.

Die jeweiligen Datenquellen, die jeweils nur eine einzige Datenbank beinhalten, heißen nun übrigens “WETTERDATEN” bzw. “LUFTDATEN”. Bei den imkerlichen Daten gestaltet sich das noch nicht so einfach.

Have fun!

[weef]

Mega!

Aber im panel " Regenmenge und -dauer und Sonnenschein vs. Gewicht " fehlt uns eine dritte y-Achse… ich bau da mal weiter.

[Andreas]

Zusammen mit @einsiedlerkrebs haben wir MUC-MH-B99 plus Wetter vorhin noch ein wenig verbessert: Da wir vor allem an der Sonnenscheindauer interessiert sind, haben wir die Informationen über Regen kurzerhand ausgeblendet - so wird das Ganze übersichtlicher.

Besonderen Dank an dieser Stelle auch noch einmal an @wtf! Endlich wird hier durch die Fusion von imkerlichen mit Wetterdaten möglich, was wir und andere sich schon immer gewünscht haben.

Weitere Anregungen sind gerne willkommen!