Auf dem Host eltiempo/weather betreiben wir einen fortlaufenden Import der aktuellen Messwerte des Stationsnetzes des Deutschen Wetterdienstes (DWD), welche vom dortigen Climate Data Center (CDC) aggregiert und bereitgestellt werden.
Quelle
Die Daten werden per FTP von ftp://ftp-cdc.dwd.de/pub/CDC/ bzw genauer ftp://ftp-cdc.dwd.de/pub/CDC/observations_germany/climate/ bezogen. Alle dort zum Zeitpunkt des Abrufes verfügbaren Stationen werden importiert. Das Readme zum DWD CDC-FTP-Server sei an dieser Stelle als Einstieg empfohlen.
Es werden grundsätzlich nur Daten aus dem Produkt “10_minutes” importiert, mit Ausnahme einzelner Werte, die (i.d.R. nur) stündlich (“hourly”) gemeldet werden: Bedeckungsgrad, Sichtweite, ggf. Wolkentyp, Bodentemperaturen – sowie den Niederschlägen, welche soweit als einziges auch als “1_minute” vorliegen.
Wir beziehen bislang “aufs Aktuellste haschend” die Werte aus den /now/-Subtrees. Um die später vom DWD noch redaktionell korrigierten Werte (mit höheren “Qualitäsniveaus” als 2 oder 3) zu importieren, sollten noch weitere Import-Instanzen folgen.
Innerhalb des Subtrees gibt es oft eine sehr lesenswerte Datensatzbeschreibung, bspw. für Lufttemperaturen im 10_minutes/now. Dort gibt es auch konkrete Bestimmungen zu der jeweils zu verwendenden Quellenangabe. Ein Beispiel gibt es im Referenz-Dashboard, siehe unten.
Metadaten
Bislang wird keine dedizierte Stationsliste unsererseits importiert oder gepflegt, sämtliche Metadaten hängen bislang nur am einzelnen Messwert. Das könnte sich bald ändern. Auch schenken wir bislang den historischen Änderungen an den einzelnen Standorten (Umpositionieren, verwendete Gerätetypen) soweit keine Rechnung.
Measurements
Die importierten Daten befinden sich in der Datenbank “dwd_cdc” und enthalten folgende measurements:
dwd_cdc_cloud_amount_1st_layer_eighth
dwd_cdc_cloud_amount_2nd_layer_eighth
dwd_cdc_cloud_amount_3rd_layer_eighth
dwd_cdc_cloud_amount_4th_layer_eighth
dwd_cdc_cloud_amount_ground_layer_eighth
dwd_cdc_cloud_cover_4th_percentage
dwd_cdc_cloud_cover_high_percentage
dwd_cdc_cloud_cover_low_percentage
dwd_cdc_cloud_cover_midlevel_percentage
dwd_cdc_cloud_height_1st_layer_code
dwd_cdc_cloud_height_1st_layer_long_code
dwd_cdc_cloud_height_2nd_layer_code
dwd_cdc_cloud_height_2nd_layer_long_code
dwd_cdc_cloud_height_3rd_layer_code
dwd_cdc_cloud_height_3rd_layer_long_code
dwd_cdc_cloud_height_4th_layer_code
dwd_cdc_cloud_height_4th_layer_long_code
dwd_cdc_cloud_type_1st_layer_code
dwd_cdc_cloud_type_1st_layer_long_code
dwd_cdc_cloud_type_1st_layer_short_code
dwd_cdc_cloud_type_2nd_layer_code
dwd_cdc_cloud_type_2nd_layer_short_code
dwd_cdc_cloud_type_3rd_layer_code
dwd_cdc_cloud_type_3rd_layer_short_code
dwd_cdc_cloud_type_4th_layer_code
dwd_cdc_cloud_type_4th_layer_short_code
dwd_cdc_cloudiness_eighth
dwd_cdc_dewpoint_2m_c
dwd_cdc_humidity_2m_percentage
dwd_cdc_preciptation_indicator_boal
dwd_cdc_preciptation_last_10min_duration_minutes
dwd_cdc_preciptation_last_10min_indicator_code
dwd_cdc_preciptation_last_10min_sum_mm
dwd_cdc_preciptation_last_1min_sum_mm
dwd_cdc_preciptation_last_hour_sum_mm
dwd_cdc_preciptation_type_code
dwd_cdc_pressure_hpa
dwd_cdc_pressure_last_10min_hpa
dwd_cdc_pressure_sealevel_hpa
dwd_cdc_soil_temp_100cm_c
dwd_cdc_soil_temp_10cm_c
dwd_cdc_soil_temp_20cm_c
dwd_cdc_soil_temp_50cm_c
dwd_cdc_soil_temp_5cm_c
dwd_cdc_solar_duration_last_10min_hours
dwd_cdc_solar_duration_last_hour_min
dwd_cdc_solar_radiation_diffuse_last_10min_jcm2
dwd_cdc_solar_radiation_global_last_10min_jcm2
dwd_cdc_solar_radiation_longwave_last_10min_joule
dwd_cdc_temp_2m_c
dwd_cdc_temp_2m_last_10min_low_c
dwd_cdc_temp_5cm_last_10min_avg_c
dwd_cdc_temp_5cm_last_10min_max_c
dwd_cdc_temp_5cm_last_10min_min_c
dwd_cdc_temp_last_10min_high_c
dwd_cdc_visibility_m
dwd_cdc_wind_direction_avg_degree
dwd_cdc_wind_direction_degree
dwd_cdc_wind_direction_last_10min_degree
dwd_cdc_wind_direction_last_10min_max_degree
dwd_cdc_wind_speed_avg_ms
dwd_cdc_wind_speed_last_10min_max_10min_avg_ms
dwd_cdc_wind_speed_last_10min_max_ms
dwd_cdc_wind_speed_last_10min_min_ms
dwd_cdc_wind_speed_last_10min_ms
Aus Darstellungsgründen im Grafana enthalten die Measurements dwd_cdc_cloud_amount* bzw dwd_cdc_cloud_cover* auch Werte aus der aktuellen Vorhersage.
Tags
Ein einzelner Messwert enthält in der Regel bislang folgende tags:
- sta_name: Menschenlesbarer Stationsname
- sta_cdc_id: WMO-Stationsnummer
- cdc_param: Name des Parameters in “DWDisch”
- quality_level: Qualitätslevel
- produkt: Importiertes Produkt (1_minute, 10_minutes, hourly)
- ftp_subtree: Beim Import verwendeter Unterfolder, in der Regel “now”
Der konkrete Wert befindet sich in der Regel immer in einem Field namend “value”
Grafana-Referenz-Panels
Eine Referenz zur Darstellung der einzelnen Measurements findet sich, soweit geschehen, in dem Dashboard Wetter: DWD / Stationsansicht (CDC)
RFC
Kommentare, Nachfragen & Feedback sind an dieser Stelle erwünscht. Hier werde ich ebenso darüber informieren, wenn sich Bewegungen an der Datenstruktur abzeichnen.
Chronik
Dieser Beitrag mag fortlaufend aktualisiert werden.
- 2019-02-12: Ergänzung um das Kapitel Chronik.
- 2019-02-12: Erstveröffentlichung mit den Kapiteln Quelle, Metadaten, Measurements, Tags, Grafana-Referenz-Panels, RFC.