Jein, die aktuellen Daten kommen ja immer step by step rein. und wie man sieht “verfälscht” ein unvollständiger Satz ja auch die Daten. Sprich, wenn die Halseblüte gerade angefangen hat, ist der Mittelwert der Meldungen fürs aktuelle Jahr nach vorne verschoben, man muss somit für vergleichbare Werte warten bis die Meldungen abgeschlossen sind. Dann ist das Ereignist “Blühbeginn” aber schon vorbei. Wenn du den Startpunkt nimmst und laufende Meldungen “im Prozess” aufnimmst musst du die aber auch täglich wieder aktualisieren, da sehe ich momentan ohne Schnittstelle vom DWD, keine praktikablen Möglichkeiten.
1 Like
Kann das Python Modul “dwdweather”, das auf Open weather data beschrieben wird, auch mit den Daten unter ftp://ftp-cdc.dwd.de/pub/CDC/observations_germany/phenology/annual_reporters/fruit/recent/ umgehen bzw. diese aggregieren?
Geodaten bekommt man indirekt über die erste Datenspalte, da steht die Variable Stations_id; Diese referenziert auf ftp://ftp-cdc.dwd.de/pub/CDC/help/PH_Beschreibung_Phaenologie_Stationen_Jahresmelder.txt dort sind in Spalte 3 und 4 die geographische Breite und Länge angegeben. Leider keine Bundeslandzuordnung, wohl aber die “Naturraumgruppen”, die hier erläutert und hinterlegt sind: Wetter und Klima - Deutscher Wetterdienst - Daten Deutschland DWD - Liste der Naturraumgruppen und der dazugehörigen Naturräume. und als Karte hinterlegt ist.
Leider noch nicht, aber nach dem Aufmöbeln der Grundfunktionalität können wir langsam daran denken, diese als neue Datenquelle zu erschließen.
Unabhängig davon könnten wir uns schon einmal Gedanken über die Berechnung des Mittelwerts von mehreren Datumsangaben machen. Als Denkanstoß haben wir folgendes zusammengetragen:
def date_median(series):
"""
https://stackoverflow.com/questions/43889611/median-of-panda-datetime64-column/43890905#43890905
"""
import math
return pd.to_datetime(math.floor(series.astype('int64').median()))
def date_quantile_50(series):
"""
https://stackoverflow.com/questions/43889611/median-of-panda-datetime64-column/48709758#48709758
"""
return series.astype('datetime64[ns]').quantile(.5)
Auf ein paar Beispieldaten angewendet…
import pandas as pd
dates = [
pd.Timestamp('2012-05-01T00:00'),
pd.Timestamp('2014-06-01T00:00'),
pd.Timestamp('2016-05-14T00:00'),
pd.Timestamp('2018-07-14T00:00'),
]
frame = pd.DataFrame(dates)
… sind die Ergebnisse in diesem Fall für beide Verfahren identisch:
>>> date_median(frame[0])
2015-05-23 12:00:00
>>> date_quantile_50(frame[0])
2015-05-23 12:00:00
Ist es das, was Du Dir wünschst, auf die phänologischen Rohdaten anzuwenden, @clemens?
Im Prinzip ist es das, allerdings ist der Median nicht das richtige Maß, das wir brauchen, sondern der Mittelwert. Median ist - wie bei dir korrekt berechnet - der 23.05.2015, wir benötigen aber das arithmetische Mittel, das wäre der 31.05.2015.
2 Likes
Alles klar. Das klappt mit
def date_mean(series):
import math
return pd.to_datetime(math.floor(series.astype('int64').mean()))
ebenfalls:
>>> date_mean(frame[0])
2015-05-31 00:00:00
Danke!
2 Likes
Versuche einmal zu skizzieren wie eine Lösung aussehen könnte
- Import der Daten vom DWD-Server
– Beobachtungsdaten pro Frucht
– Datensätze der Standorte - ggf. Anpassung / Konvertierung der Daten, z.B. Zahlenformat
- Anreicherung der Beobachtungsdaten mit Geodaten, d.h.
– über die Standort-ID Längen- und Breitengrad in Datensatz 2 ermitteln
– dies in Datensatz 1 hinzufügen
– über die Geodaten Bundesland oder Regierungsbezirk, … bestimmen - Datums-Mittel berechnen (arithm. Mittel / mean) pro Bundesland pro Frucht für Phasen-ID “5”
- als annotation pro Bundesland je für alle relevanten Zeigerpflanzen / Frucht bei Grafana zur Verfügung stellen.
2 Likes
Affirmative, thanks!
Fände ich eigentlich auch Sinnvoll. Also beides. Von der jetzigen Natur der Darstellung im Grafana ist es ja eher selten so, dass man in die Zukunft hinaus zoomt. Will sagen, dass die Annotation gar nicht sichbar ist, solange man nicht dort hin zoomt.
Dennoch ist es natürlich total sinnvoll darüber Bescheid zu wissen.
Hab mich gestern mit Andreas unterhalten, am schönsten wäre es, man würde sich bei dem Phänologischen Vorraussage an dem SunMoon plugin orientieren insofern, dass die Graphen eine (von jahr zu Jahr bereinigte) Funktion als Grundlage haben.
Sobald aber der Zeitpunkt gekommen ist, dass eine Blüte begonnen hat, würde man sich eigentlich den tatsächlichen Zeitpunkt in den Daten wünschen um dort dann auch das Verhalten der Bienen damit korrelieren lassen zu können, bzw. den Honig zu bestimmen ;). Oder?
1 Like
Darstellung der Blütephasen
Das gute vis.js kann schöne Timeline Visualisierungen erzeugen.
Den Gestaltungsmöglichkeiten im Detail scheinen keine Grenzen gesetzt.
1 Like
Neben den oben gelisteten Rohdaten gibt es vom DWD auch jährliche geografische Rasterdaten, die könnten für uns interessant sein:
ftp://ftp-cdc.dwd.de/pub/CDC/grids_germany/annual/phenology/.
So weit ich mit entsinne haben wir nicht für alle Pflanzen den kompletten Blütenzyklus von Blühbeginn bis Ende Blüte, daher werden wir das vermutlich nicht brauchen können.
Noch eine Frage dazu. Die Daten sollen ja parallel mit den Stockdaten in Grafana landen, dann bringt uns vis.js Co. ja nichts, oder?
Es wäre eine alternative Darstellungsform, die für den Anfang deutlich leichter zu erschließen ist als die Integration in Grafana, sobald wir die Daten in der entsprechenden Form vorliegen haben.
Als reguläre Annotationen lassen sich die Zeitpunkte natürlich bereits einfach eintragen. Unser langfristiger Wunsch, die Daten über ein Addon à la Sun and Moon datasource im Grafana zur Verfügung zu stellen, erfordert jedoch deutlich mehr Aufwand.
1 Like
Eine tolle Idee die es gilt umzusetzen!
Peter
1 Like
Implementierungsplan
Wir sollten uns dem Thema nun kurz und intensiv widmen, da die Bienensaison ja schon bald losgeht und es nicht abzusehen ist, dass wir sonst mittelfristig anderweitig dazu kommen werden.
Unser Vorschlag ist es, ein standalone Programm in Python zu entwickeln, das am besten beschrieben werden kann als: “phenodata is a data acquisition and manipulation toolkit for open access phenology data”.
BBCH Code
Im Rahmen von Forschungsarbeiten zur Grundsteinlegung stoßen wir gerade auf den BBCH Code [1] zur Klassifizierung von Wachstumsphasen, siehe auch [2,3].
USA-NPN
Die Infrastruktur des USA National Phenology Network (USA-NPN) [4] ist ebenfalls nicht von schlechten Eltern. Es bietet offene Daten [5] (auch in Form einer API) sowie ein tolles interaktives Visualisierungstool [6] dazu an.
Weitere Phänologienetzwerke
Da wir die Angelegenheit von der Architektur her betrachtet skalierbar machen wollen, kann uns die Sammlung unter “Phenology Networks Around the World” [7] gut weiterhelfen. Dort sind wir auch auf das “Global Phenological Monitoring” Projekt [8] gestoßen, das im Fachgebiet Agrarklimatologie [9] des Departments für Nutzpflanzen- und Tierwissenschaften an der Lebenswissenschaftlichen Fakultät der Humboldt-Universität zu Berlin angesiedelt ist. Hier wird ebenfalls der BBCH Code [1] zur Klassifizierung verwendet [10].
Feedback welcome!
Relevante Pflanzenarten
P.S.: Eine erste konkrete Frage hätte ich an die Imker unter Euch: Welche konkreten Spezies aus [11] wollen wir denn fürs Erste haben? Also welche Pflanzen sind relevant für die Bienen? Es wäre toll, wenn Ihr dazu eine Liste zusammenstellen könntet, schließlich werden Hafer oder Gerste ja vermutlich nicht dabei sein, stimmts? ;]
[1] BBCH-Code – Wikipedia
[2] http://www.agrometeo.ch/sites/default/files/u10/bbch-skala_deutsch.pdf
[3] http://www.reterurale.it/downloads/BBCH_engl_2001.pdf
[4] https://www.usanpn.org/
[5] Explore Data | USA National Phenology Network
[6] Visualization Tool | USA National Phenology Network
[7] Phenology Networks Around the World | USA National Phenology Network
[8] http://gpm.hu-berlin.de/
[9] Agricultural Climatology — Albrecht Daniel Thaer-Institut für Agrar- und Gartenbauwissenschaften
[10] Phasen
[11] ftp://ftp-cdc.dwd.de/pub/CDC/observations_germany/phenology/annual_reporters/
Weitere Links:
[A] Phänologischer Kalender
[B] Open weather data
[C] https://weather.hiveeyes.org/
[D] Bienenfreundschaft.de - Phänologischer Kalender
Wunschliste relevanter Pflanzenarten
Wir tasten uns gut an die Strukturierung der hier relevanten Details heran. Vielen Dank an @clemens, @peterthiemer, @weef und @wtf für Eure Rückmeldungen zum Thema (folgend Zusammenfassungen aus mails)
Gruppierungen
- primär, “must have”
Die wichtigsten Tracht- und Zeigerpflanzen - sekundär, “nice to have”
Tracht und Zeiger, v.a. lokale oder Imkerpraxis-Bedeutung - tertiär, "unlikely’
Möglicher Erkenntnisgewinn nur sehr schwer und nicht ausschließlich durch pheno-DWD-Daten erlangbar - die können wir hier in den Überlegungen weglassen
Pflanzenarten
Spannend ist der jeweilige Blühbeginn (Pollen- und/oder Nektarlieferant jetzt nicht weiter unterschieden; Unterarten teilweise unterschieden):
-
primär
Angefangen mit dem wichtigsten: die Hasel (jene Pflanze, der wir in unseren Breiten nach der letzten Eiszeit die dauerhafte Existenz der Dunklen Europäischen Biene verdanken). Dann: Schneeglöckchen, Sal-Weide, Löwenzahn, Süßkirsche, Apfel, Winterraps, Robinie,SommerWinter-Linde, Heidekraut. - Damit ist das Bienenjahr abgedeckt (bei ‘uns’). -
sekundär
Dann gibt es noch einige, die der DWD vermerkt und die für Bienen (teils erhebliche) Trachtbedeutung haben und/oder für die imkerlichen Praxis Zeitpunkte markieren. Diese Angaben zu haben, wäre schön - sie haben aber auch schon wieder teilweise nur regionale/lokale Bedeutung:
Wildkirschen (DWD: Kornellkirsche, Traubenkirsche), Stachelbeere, Johannisbeeren, Schlehe, Huflattich, Ahorn, Sonnenblume, Birne, Schwarz-Erle, Roßkastanie -
tertiär bzw. akademisch
Teilweise sehr wichtige, aber schwer zu fassende, nur lokal bedeutsame oder nur durch andere kombinierte Beobachtungen nutzbare Quellen:-
Honigtauquellen
Fichte, Kiefer, Tanne hätte der DWD. Andere infrage kommende Laubbäume ebenfalls (Ahorn, Birke, Birne, Linde, Eiche, Kastanie, Holunder,…).
Die Lebenszyklen der jeweils nötigen Läuse bedingen jedoch, daß aus der Blüte der genannten allein noch keine Tracht ableitbar ist. -
Pheno-Kalender als Hilfe bei möglichen Vergiftungen
Mais, Raps und Sonnenblume. - Wenn gesprüht wird, dann selten im Zusammenhang mit der Blüte, auch ist dann eher der Pollen und seltener der Nektar schlecht, so daß der zeitliche Zusammenhag noch schwieriger zu erkennen wäre.
-
Andere Wünsche
@clemens wünscht sich weiterhin:
- Wir sollten uns auf die “annual_reporters” im Zeitabschnitt “recent” beschränken.
- Ahorn und Roßkastanie würde ich fast schon primär sehen, zumindest in den Städten. Das ist hier die Frühtracht während auf dem Land das Obst dominiert.
- weitere, noch nicht genannte für Imker interessante Pflanzen aus dem DWD-Angebot:
Pflaume, Himbeere, Brombeere, Traubenkirsche, Zweigriffliger Weißdorn - Meine (erweiterte) 10er-Liste ist:
Winterraps, Sonnenblume, Mais, Apfel, Birne, Süßkirsche, Sauerkirsche, Himbeere, Brombeere, Hasel, Heidekraut, Löwenzahn, Robinie, Rosskastanie, Sal-Weide, Spitz-Ahorn, Winter-Linde - Edel-Kastanie, Kornblume, … gibt es nicht, oder?
@peterthiemer wünscht sich noch die Aufnahme des Schwarzen Holunders (u.U. als botanische Zeigerpflanze).
1 Like
Ich stoße gerade noch auf ein anderes Beobachtungsnetzwerk: naturgucker.de wird vom NABU betrieben. Dieses Jahr findet erstmals eine Kooperation mit dem DWD statt. Im Unterschied zu den sonstigen Beobachtungen des DWD, welche dauerhaft von einzeln bestimmten Ehrenamtlichen durchgeführt werden, wird hier jedermensch aufgefordert, Beobachtungen direkt zu melden.
Mit den genauen Gegenständen der Beobachtung sowie der informationstechnischen Bereitstellung der Daten habe ich mich jedoch nicht befasst – dieser Beitrag soll nur als erster Hinweis auf diese Quelle dienen.
1 Like
naturgucker mit diy-faktor, das finde ich ja toll: da könnte ich also regelmäßig selbst losstapfen in konzentrischen kreisen um meinen bienenstand, meine beobachtungen bei naturgucker.de hochladen und dann - vorausgesetzt, das lässt sich mit radius um einen ort dort rausziehen - genau meine eigenen beobachtungen (plus das was andere im selben radius um meinen standort eingeben) in den graph importieren. wie gesagt, cool fänd ich das: diese kombination von selber beobachten und in die erfassung und darstellung einfließen lassen.
Du kannst dich auch gerne beim DWD melden. Die suchen noch Beobachter Wetter und Klima - Deutscher Wetterdienst - Der Deutsche Wetterdienst sucht ehrenamtliche phänologische Beobachterinnen und Beobachter
aber der DWD sucht doch nur für bestimmte stellen. in der aktuellen liste mit den gesuchen finde ich leider meine postleitzahl (10999) nicht.
Dürfen wir dazu aufrufen, das “phenodata” Programm in der aktuellsten Version ordentlich durchzutesten und uns Rückmeldungen oder weitere Wünsche zu übermitteln?
Mit dem ersten Schwung wären wir soweit durch, siehe https://github.com/hiveeyes/phenodata/blob/master/TODO.rst.
Danke!