Open weather data

Umweltdaten Umweltdatenquellen
1

muss mal meine tabs schließen, deshalb kipp ich euch hier jetzt mal das ergebnis meiner recherche nach open weather data vom letzten monat vor die füße, vielleichts gibts ein zwei meinungen dazu und wir realisieren irgendwo den import von offenen wetterdaten zur ergänzung unserer gewonnenen daten am/im bienenstock? oder generieren eigene in einem ableger auf dem teufelsberg;) raw and dirty:

WxMonitor: An Open Source Weather/Home Monitoring System
http://wxmonitor.sourceforge.net

A START TO NEW ERA OF METEOROLOGICAL SCIENCE BY…

Gathering scientists, meteorologists, storm chasers, programmers, and hackers to collaborate on a common interest. We will use our collective knowledge and skills to design new systems for measuring weather phenomena that can be used by professionals and amateurs alike.

The community will be built around a foundation of professionalism and information sharing. http://www.wxopensource.org

The weather station is based on the arduino open-source electronics prototyping platform which is easy-to-use hardware and software. The microcontroller can sense various sensors and provides enough flexebility to be extended.
http://www.wetter-garching.de/howto.html

Open source software for your weather station
http://weewx.com/stations.html

Das Open Source Projekt ist aufgrund der zahlreichen Wünsche von unseren Nutzern entstanden. Hier bieten wir euch eine geniale Wetterstation basierend auf dem Arduino Uno Board . http://www.aeq-web.com/open-source-wetterstation/

We are glad to announce our new API version for managing your personal weather stations - Weather Stations API 3.0 (beta).
http://openweathermap.org/stations

2

So unsortiert ist das schwierig zu beantworten, da ist ja vieles drin: Hardware, also Sensoren speziell fürs Wetter, Hardware auf MCU-Ebene - brauchen wir nicht, würden da unser System nehmen -, Gateways und Backend, das Gleiche wie zuvor, da nehmen wir unsere Infrastruktur, auch auf Backendseite, weil wir nur dann unsere Daten sinnvoll mit den Wetterdaten verknüpfen können.

Ein weiterer Aspekt wäre noch gar nicht selbst Daten zu erheben, sondern auf die existierenden Systeme und Daten zurückzugreifen. Frank macht das z.B. mit der nächsten Wetterstation in der Nähe seiner Bienen - ein paar 100 m - er nutzt Daten von https://www.wunderground.com/ . Hier kann man kontinuierlich die aktuellen Werte saugen, historische gibt es afaik aber entweder nicht oder nur gegen einen Obulus.

3

sieht gut aus, hat aber mit open source nix zu tun :(
das hier hingegen schon:
http://axelschmidt.net/wetter/
http://cleoweb.i234.me/public_html/index.html
http://openweathermap.org/weathermap?basemap=map&cities=true&layer=temperature&lat=52.4284&lon=13.3292&zoom=10

4

Naja, auch wenn open in der URL steht scheint das Geschäftsmodell nicht viel anders zu sein:
http://openweathermap.org/price . Da steht auch “maps, APIs, and other products CC BY-SA 4.0” Unter welcher Lizenz es die Daten gibt habe ich nicht gefunden.

axelschmidt.net/wetter/
das ist eine private Wetterstation, die bringt uns so eher nichts, auch gibt es keine Schnttstellen.

cleoweb.i234.me/public_html/index.html
Hier werden Karten vom DWD eingebunden?? Auch keine API

Vielleicht schreibst du mal für was du die Daten überhaupt möchtest. Als Wetterdaten auf einer extra Seite unabhängig von Grafana / hiveeyes oder in Grafana als Ergänzung z.B. zu den Stockdaten.

Dann würe noch zu klären, ob du eigene Daten erheben möchtest mit eigenen Sensoren oder auf externe Daten einer Datenbank zugreifen wills. .

5

beide stationen laufen mit http://weewx.com/downloads/ von daher glaube ich schon das man an die daten kommt, entweder ganz offiziell über die seite per api oder man spricht die betreiber einmal direkt an ;)

6

Wie wärs mit Deutschem Wetterdienst?

cool, dass es dieses thema hier schon gibt, @karsten und @clemens. und weils heute regnet, das das kistengewicht hebt, ich aber in vier wochen vergessen haben werde, dass es heute geregnet hat und mich dann fragen werde, warum die kiste so viel schwerer geworden ist, wärme ichs jetzt nochmal auf.

ich hätte also gerne einen chart mit niederschlagsdaten, möglichst lokal, möglichst enge zeitintervalle.

das beste was ich da finde, sind die halbstündlichen daten der wetterstation auf dem tempelhofer feld im jedermanns-portfolio (“grundversorgung”) des dwd, als ausformatierte webseite oder auf dem ftp-server (dort ist es auch eine html-formatierte tabelle), spalte “RR30” in den dateien im pfad /specials/observations/tables/germany (hab eine hier mal als beispiel mit hochgeladen). letztere werden 48 stunden vorgehalten und stündlich aktualisiert. hier noch alle stationen der grundversorgung in einer übersicht. und hier noch ein pdf mit tabellarisch den inhalten des ftp-servers. die tabellen, die ich meine laufen unter nummer 60 (seite 8).

wäre das importierbar? (für joomla gibts irgendwie so ein dwd-plugin)
mit einem kleinen dwd-logo auf meinem grafana-dashboard hätt ich kein problem, denn:

nutzungsbedingungen des dwd für diese daten sind, wenn ich das richtig verstehe, sowas wie public domain mit nennung der quelle.

was meinen die wetterdaten-bedürftigen?
was meinen die wetterdaten-import-kundigen?
bin gespannt!

SXDL99_DWAV_20170412_1744_U_HTML.txt (18,4 KB)

ps: ich könnte natürlich auch ein dach drüber bauen, das nicht mitgewogen wird. aber das fliegt dann nur wieder weg beim nächsten sturm…

7

@Frank, auch auf unserer Mailingliste, hat bei sich auch schon mal (externe) Wetterdaten von wunderground.com eingebunden, Live-Einbindung scheitert auch wenn der traffic nach oben geht, daher ist eine Zwischenspeicherung schon sinnvoll, auch um die historischen Daten zu haben, die häufig ja nicht (umsonst) angeboten werden.

8

Dank des Hinweises von @weef auf ein MQTT Plugin für weeWX haben wir gestern zusammen mit @tonke begonnen, die Daten einer Davis Vantage Pro2 Wetterstation zu erfassen, die ebenfalls seit einigen Jahren mit weeWX betrieben wird.

Das hat ganz gut geklappt, viel Spaß beim Verfolgen der Daten:

Das Setup ist unter “Use Kotori for weather station data acquisition from weeWX over MQTT” noch detaillierter dokumentiert.

P.S.: Die klassische Ausgabe von weeWX findet sich unter weeWX Dashboard. Zusätzlich werden die Wetterdaten auch noch mit AmatYr von Tor Hveem visualisiert, das mindestens einen weiteren Blick wert ist. Cheers, @tonke!

1 Like
9

Deutscher Wetterdienst: Wetterdaten sind jetzt Open Data

Der Deutsche Wetterdienst stellt künftig einen großen Teil der erhobenen Daten als Open Data kostenfrei zur Verfügung. Damit reagiert der Dienst auf eine Änderung des Gesetzes über den Dienst, die am 25. Juli 2017 in Kraft getreten ist.

https://www.golem.de/news/deutscher-wetterdienst-wetterdaten-sind-jetzt-open-data-1708-129258.html

Hier gehts lang: https://opendata.dwd.de/

1 Like
10

aus aktuellem Anlaß, da morgen der ftp-Zugang der DWD-Grundversorgung geschlossen wird:

Sehr geehrte GDS-Nutzer,

mit dieser letzten Nachricht an Sie bedanken wir uns für Ihr
langjaehriges Vertrauen in unseren GDS-Dienst.

Wie Sie bereits erfahren haben, werden ab dem 17.01.2018 die allgemeinen
ftp-Zugaenge zum GDS eingestellt, und die freien Daten werden zukuenftig
ueber unser neues Angebot auf https://opendata.dwd.de abgegeben.

Bitte informieren Sie sich unter Wetter und Klima - Deutscher Wetterdienst - Leistungen - Open Data ueber die
neuen Moeglichkeiten und das vielfaeltige Angebot, und abonnieren Sie
unseren RSS-Feed, um über Informationen zu Anpassungen und Erweiterungen
der verfuegbaren Daten auf https://opendata.dwd.de zu erhalten.

Wir hoffen, dass Sie uns auch ueber die neue Open Data Schnittstelle
weiterhin als zufriedene Nutzer unseres freien Angebots erhalten
bleiben.

Mit freundlichen Gruessen vom
ehemaligen GDS-Team und aktuellen Open Data Team des DWD

11

In diesem Jahr noch bekommen wir das hin, zusammen mit @wtf DWD-Daten in InfluxDB als Datenquelle für Grafana zusammen mit den imkerlichen Daten zu haben; es wird dran gearbeitet:

dwd-wetter-screenshot
dwd-wetter-screenshot.png1366×768 139 KB

2 Likes
12

12 posts were merged into an existing topic: Phänologische Daten

20

Liebe Freunde der Wetterdaten,

wir haben jetzt mal das schöne Python Modul “dwdweather” (Python client to access DWD weather data from Germany) auf Vordermann gebracht, siehe:

Installation

Die nun funktionierende Version lässt sich folgendermaßen installieren bzw. auf den aktuellsten Stand bringen:

pip install https://github.com/hiveeyes/dwdweather2/archive/0.9.0.tar.gz --upgrade

Das macht man am besten in einem virtualenv mit Python 2.7, das man ggf. davor folgendermaßen anlegt und aktiviert:

virtualenv --python=python2 .venv27
source .venv27/bin/activate

Benutzung

Einen Überblick über die Stationen gewinnt man per:

dwdweather stations

Den Bezug von Daten aus dem “hourly” Verzeichnis realisiert man per:

# Get weather data for Berlin-Tegel from 2018-02-15 at 11 o'clock UTC
dwdweather -vvv weather 430 2018021511

Entwicklung

Dabei haben wir berücksichtigt, dass wir den Datenbezug über die aktuelle Funktionalität hinaus ausbauen wollen, um unsere diversen Wünsche damit realisieren zu können.

Dazu bringen wir dem Programm nun erst einmal detailliertes Wissen über die Ordnerstruktur auf dem FTP Server des DWD und die in den Datendateien verwendeten Feldnamen bei, damit es universell für verschiedenste Meßdaten einsetzbar bleibt. Das Vehikel dafür ist hier die Klasse DwdCdcKnowledge.

Unterstützung

Das alles können wir nicht alleine realisieren. Es wäre spitze, wenn Ihr bei der Aufbereitung des Wissens über die Datenablage auf dem FTP Server mithelfen könntet. Die Blaupause dafür findet Ihr im Quelltext (siehe oben). Falls Ihr Fragen dazu habt, kommt gerne jederzeit auf uns zu.

Upstream

Wir haben die Änderungen auch Upstream bei Marian Steinbach eingereicht:

Have fun!

21

Yeah!

Nach einem bisschen Gespräch gestern mit Andreas, will ich nun seiner Bitte nachkommen, das besprochene kurz zu sammeln.

wenn wir nun die DWD Daten zur Verfügung haben, wäre es natürlich praktisch, die zugreifbar zu machen. Andreas wünscht sich an der Stelle MQTT einzusetzen. Das finde ich schön, so kann ein jeder für seinen Standort die Daten abholen, ohne gleich auf eine Datenbank direkt zugriff zu haben.

Die Idee war dann, dass es einen mqtt-republisher geben soll. Das Ziel ist es, eine geolocation zu der nächsten DWD-Wetterstation zu verbinden. In “dwd-weather” gibt es schon eine funktion nearest_station(). Die Idee ist es einen dedizierten topic auf zu machen:

weather/nearest/<long>/<lat> wird dort dann eine subscription registriert wird die nächste wettterstation (e.g. weather/berlin/buch) ermittelt und von dort auf weather/nearest/<long>/<lat> republiziert.

1 Like
22

Hallo in die Runde. Es gibt ein paar Neuigkeiten.

Status

Die Grundlagen des angestrebten Datenerfassungssystems für Wetterdaten sind prototypisch ausgerollt, Teile aus dem “10min” Produkt des DWD werden regelmäßig bezogen und eingespielt. Auf https://weather.hiveeyes.org/ gibt es erste Dinge zu sehen.

Vielen herzlichen Dank an dieser Stelle an @wtf und @weef!!!elf!11zwölf. Die Darstellungen sind wunderschön und detailreich, you know who you are!

Ausblick

Wir werden in nächster Zeit daran weiterarbeiten, betrachtet die neue Infrastruktur deshalb bitte noch als “work in progress”. Nachdem die Daten aber seit kurzem stabil angeliefert zu werden scheinen (danke, @wtf!), können wir an weitere Dinge denken und den Gesprächsfaden an dieser Stelle wieder aufnehmen.

Have fun!

1 Like
23

Schöne Sache das! Tolle Arbeit

Kann mann die Daten auch als Data Source auf Hiveeyes einbinden? Damit ich zum Beispiel die Daten einer benachbarten Station in 1,5km Entfernung vergleichen kann und zB Sonnenstunden, Niederschläge, … in meinem Dashboard darstellen kann.

EDIT: lese oben, dass dies wohl der Plan sei :)

24

Genau, bisher leider nur auf dem Papier.

Hier findest Du einen ausführlicheren Plan als Überblick und Diskussionsgrundlage was die Integration der verschiedenen Datenquellen angeht:

1 Like
25

major credz to @wtf ;)
Zur Versüßung der Wartezeit bis zu jenem Zeitpunkt, da Du Dir das als data source zu Deinem dashboard einfach dazuziehen kannst, habe ich Dir ein dashboard für Potsdam gespeichert, mit jeweils table darunter zum selektiven Anschauen. dashboard ersetzt durch https://weather.hiveeyes.org/grafana/d/shzA3o6kz/stationsansicht-cdc?orgId=1&var-STATION=Potsdam&var-QN=All&var-PRODUKT=10_minutes&var-PRODUKT=hourly

Potsdam hat als eine von sehr wenigen Stationen einen Sensor für langwellige rote Strahlung (neben den auch bei anderen Stationen erfaßten diffusen und globalen Strahlungsenergien). edit: link updated

Im gleichen Graph mit der Sonne ist dort noch der rel. Luftfeuchtewert beheimatet. Man erkennt, daß auch professionelle Sensoren bei 100% relH diese 100% anzeigen - aber sie können den kritischen Bereich zwischen über 90 und 100 noch sinnvoll darstellen.

cloudiness ist im Moment noch nicht zuverlässig; unabhängig davon sind die Maßeinheit dort Achtel, was Grafana im Moment noch nicht kann. ;)

Dafür aber ist @wtf gerade dabei, das MOSMIX-Vorhersagemodell innerhalb der DWD-Daten zu erschließen: Grafana (WIP!)

(edit: MOSMIX-CDC-Mix -link updated, jetzt mit deutlich mehr Stationen und nur noch 1x Station auswählen)

2 Likes
26

Das schaut schon sehr cool aus! Die Wolkendarstellung ist nett, fast schon realitätnah!

27

Seit Anfang Juni 2019 wird die Entwicklung bei https://github.com/hiveeyes/dwdweather2 weitergeführt.

Durch die Wiederbelebung konnten wir bereits einige sinnvolle Beiträge aus der Community einsammeln [1], unter anderem kam auch die Unterstützung für Python3 dazu [2].

[1] https://github.com/hiveeyes/dwdweather2/pulls?q=is%3Apr+is%3Aclosed
[2] Python 3 compatibility / Removed UPSERT by wtfuii · Pull Request #8 · panodata/dwdweather2 · GitHub