sieht gut aus, hat aber mit open source nix zu tun :(
das hier hingegen schon:
http://axelschmidt.net/wetter/
http://cleoweb.i234.me/public_html/index.html
http://openweathermap.org/weathermap?basemap=map&cities=true&layer=temperature&lat=52.4284&lon=13.3292&zoom=10
Naja, auch wenn open in der URL steht scheint das Geschäftsmodell nicht viel anders zu sein:
http://openweathermap.org/price . Da steht auch “maps, APIs, and other products CC BY-SA 4.0” Unter welcher Lizenz es die Daten gibt habe ich nicht gefunden.
axelschmidt.net/wetter/
das ist eine private Wetterstation, die bringt uns so eher nichts, auch gibt es keine Schnttstellen.
cleoweb.i234.me/public_html/index.html
Hier werden Karten vom DWD eingebunden?? Auch keine API
Vielleicht schreibst du mal für was du die Daten überhaupt möchtest. Als Wetterdaten auf einer extra Seite unabhängig von Grafana / hiveeyes oder in Grafana als Ergänzung z.B. zu den Stockdaten.
Dann würe noch zu klären, ob du eigene Daten erheben möchtest mit eigenen Sensoren oder auf externe Daten einer Datenbank zugreifen wills. .
beide stationen laufen mit http://weewx.com/downloads/ von daher glaube ich schon das man an die daten kommt, entweder ganz offiziell über die seite per api oder man spricht die betreiber einmal direkt an ;)
Wie wärs mit Deutschem Wetterdienst?
cool, dass es dieses thema hier schon gibt, @karsten und @clemens. und weils heute regnet, das das kistengewicht hebt, ich aber in vier wochen vergessen haben werde, dass es heute geregnet hat und mich dann fragen werde, warum die kiste so viel schwerer geworden ist, wärme ichs jetzt nochmal auf.
ich hätte also gerne einen chart mit niederschlagsdaten, möglichst lokal, möglichst enge zeitintervalle.
das beste was ich da finde, sind die halbstündlichen daten der wetterstation auf dem tempelhofer feld im jedermanns-portfolio (“grundversorgung”) des dwd, als ausformatierte webseite oder auf dem ftp-server (dort ist es auch eine html-formatierte tabelle), spalte “RR30” in den dateien im pfad /specials/observations/tables/germany (hab eine hier mal als beispiel mit hochgeladen). letztere werden 48 stunden vorgehalten und stündlich aktualisiert. hier noch alle stationen der grundversorgung in einer übersicht. und hier noch ein pdf mit tabellarisch den inhalten des ftp-servers. die tabellen, die ich meine laufen unter nummer 60 (seite 8).
wäre das importierbar? (für joomla gibts irgendwie so ein dwd-plugin)
mit einem kleinen dwd-logo auf meinem grafana-dashboard hätt ich kein problem, denn:
nutzungsbedingungen des dwd für diese daten sind, wenn ich das richtig verstehe, sowas wie public domain mit nennung der quelle.
was meinen die wetterdaten-bedürftigen?
was meinen die wetterdaten-import-kundigen?
bin gespannt!
SXDL99_DWAV_20170412_1744_U_HTML.txt (18,4 KB)
ps: ich könnte natürlich auch ein dach drüber bauen, das nicht mitgewogen wird. aber das fliegt dann nur wieder weg beim nächsten sturm…
@Frank, auch auf unserer Mailingliste, hat bei sich auch schon mal (externe) Wetterdaten von wunderground.com eingebunden, Live-Einbindung scheitert auch wenn der traffic nach oben geht, daher ist eine Zwischenspeicherung schon sinnvoll, auch um die historischen Daten zu haben, die häufig ja nicht (umsonst) angeboten werden.
Dank des Hinweises von @weef auf ein MQTT Plugin für weeWX haben wir gestern zusammen mit @tonke begonnen, die Daten einer Davis Vantage Pro2 Wetterstation zu erfassen, die ebenfalls seit einigen Jahren mit weeWX betrieben wird.
Das hat ganz gut geklappt, viel Spaß beim Verfolgen der Daten:
Das Setup ist unter “Use Kotori for weather station data acquisition from weeWX over MQTT” noch detaillierter dokumentiert.
P.S.: Die klassische Ausgabe von weeWX findet sich unter weeWX Dashboard. Zusätzlich werden die Wetterdaten auch noch mit AmatYr von Tor Hveem visualisiert, das mindestens einen weiteren Blick wert ist. Cheers, @tonke!
1 Like
Deutscher Wetterdienst: Wetterdaten sind jetzt Open Data
Der Deutsche Wetterdienst stellt künftig einen großen Teil der erhobenen Daten als Open Data kostenfrei zur Verfügung. Damit reagiert der Dienst auf eine Änderung des Gesetzes über den Dienst, die am 25. Juli 2017 in Kraft getreten ist.
https://www.golem.de/news/deutscher-wetterdienst-wetterdaten-sind-jetzt-open-data-1708-129258.html
Hier gehts lang: https://opendata.dwd.de/
1 Like
aus aktuellem Anlaß, da morgen der ftp-Zugang der DWD-Grundversorgung geschlossen wird:
Sehr geehrte GDS-Nutzer,
mit dieser letzten Nachricht an Sie bedanken wir uns für Ihr
langjaehriges Vertrauen in unseren GDS-Dienst.Wie Sie bereits erfahren haben, werden ab dem 17.01.2018 die allgemeinen
ftp-Zugaenge zum GDS eingestellt, und die freien Daten werden zukuenftig
ueber unser neues Angebot auf https://opendata.dwd.de abgegeben.Bitte informieren Sie sich unter Wetter und Klima - Deutscher Wetterdienst - Leistungen - Open Data ueber die
neuen Moeglichkeiten und das vielfaeltige Angebot, und abonnieren Sie
unseren RSS-Feed, um über Informationen zu Anpassungen und Erweiterungen
der verfuegbaren Daten auf https://opendata.dwd.de zu erhalten.Wir hoffen, dass Sie uns auch ueber die neue Open Data Schnittstelle
weiterhin als zufriedene Nutzer unseres freien Angebots erhalten
bleiben.Mit freundlichen Gruessen vom
ehemaligen GDS-Team und aktuellen Open Data Team des DWD
In diesem Jahr noch bekommen wir das hin, zusammen mit @wtf DWD-Daten in InfluxDB als Datenquelle für Grafana zusammen mit den imkerlichen Daten zu haben; es wird dran gearbeitet:
2 Likes
Liebe Freunde der Wetterdaten,
wir haben jetzt mal das schöne Python Modul “dwdweather” (Python client to access DWD weather data from Germany) auf Vordermann gebracht, siehe:
Installation
Die nun funktionierende Version lässt sich folgendermaßen installieren bzw. auf den aktuellsten Stand bringen:
pip install https://github.com/hiveeyes/dwdweather2/archive/0.9.0.tar.gz --upgrade
Das macht man am besten in einem virtualenv mit Python 2.7, das man ggf. davor folgendermaßen anlegt und aktiviert:
virtualenv --python=python2 .venv27
source .venv27/bin/activate
Benutzung
Einen Überblick über die Stationen gewinnt man per:
dwdweather stations
Den Bezug von Daten aus dem “hourly” Verzeichnis realisiert man per:
# Get weather data for Berlin-Tegel from 2018-02-15 at 11 o'clock UTC
dwdweather -vvv weather 430 2018021511
Entwicklung
Dabei haben wir berücksichtigt, dass wir den Datenbezug über die aktuelle Funktionalität hinaus ausbauen wollen, um unsere diversen Wünsche damit realisieren zu können.
Dazu bringen wir dem Programm nun erst einmal detailliertes Wissen über die Ordnerstruktur auf dem FTP Server des DWD und die in den Datendateien verwendeten Feldnamen bei, damit es universell für verschiedenste Meßdaten einsetzbar bleibt. Das Vehikel dafür ist hier die Klasse DwdCdcKnowledge.
Unterstützung
Das alles können wir nicht alleine realisieren. Es wäre spitze, wenn Ihr bei der Aufbereitung des Wissens über die Datenablage auf dem FTP Server mithelfen könntet. Die Blaupause dafür findet Ihr im Quelltext (siehe oben). Falls Ihr Fragen dazu habt, kommt gerne jederzeit auf uns zu.
Upstream
Wir haben die Änderungen auch Upstream bei Marian Steinbach eingereicht:
Have fun!
Yeah!
Nach einem bisschen Gespräch gestern mit Andreas, will ich nun seiner Bitte nachkommen, das besprochene kurz zu sammeln.
wenn wir nun die DWD Daten zur Verfügung haben, wäre es natürlich praktisch, die zugreifbar zu machen. Andreas wünscht sich an der Stelle MQTT einzusetzen. Das finde ich schön, so kann ein jeder für seinen Standort die Daten abholen, ohne gleich auf eine Datenbank direkt zugriff zu haben.
Die Idee war dann, dass es einen mqtt-republisher geben soll. Das Ziel ist es, eine geolocation zu der nächsten DWD-Wetterstation zu verbinden. In “dwd-weather” gibt es schon eine funktion nearest_station(). Die Idee ist es einen dedizierten topic auf zu machen:
weather/nearest/<long>/<lat> wird dort dann eine subscription registriert wird die nächste wettterstation (e.g. weather/berlin/buch) ermittelt und von dort auf weather/nearest/<long>/<lat> republiziert.
1 Like
Hallo in die Runde. Es gibt ein paar Neuigkeiten.
Status
Die Grundlagen des angestrebten Datenerfassungssystems für Wetterdaten sind prototypisch ausgerollt, Teile aus dem “10min” Produkt des DWD werden regelmäßig bezogen und eingespielt. Auf https://weather.hiveeyes.org/ gibt es erste Dinge zu sehen.
Vielen herzlichen Dank an dieser Stelle an @wtf und @weef!!!elf!11zwölf. Die Darstellungen sind wunderschön und detailreich, you know who you are!
Ausblick
Wir werden in nächster Zeit daran weiterarbeiten, betrachtet die neue Infrastruktur deshalb bitte noch als “work in progress”. Nachdem die Daten aber seit kurzem stabil angeliefert zu werden scheinen (danke, @wtf!), können wir an weitere Dinge denken und den Gesprächsfaden an dieser Stelle wieder aufnehmen.
Have fun!
1 Like
Schöne Sache das! Tolle Arbeit
Kann mann die Daten auch als Data Source auf Hiveeyes einbinden? Damit ich zum Beispiel die Daten einer benachbarten Station in 1,5km Entfernung vergleichen kann und zB Sonnenstunden, Niederschläge, … in meinem Dashboard darstellen kann.
EDIT: lese oben, dass dies wohl der Plan sei :)
Genau, bisher leider nur auf dem Papier.
Hier findest Du einen ausführlicheren Plan als Überblick und Diskussionsgrundlage was die Integration der verschiedenen Datenquellen angeht:
1 Like
major credz to @wtf ;)
Zur Versüßung der Wartezeit bis zu jenem Zeitpunkt, da Du Dir das als data source zu Deinem dashboard einfach dazuziehen kannst, habe ich Dir ein dashboard für Potsdam gespeichert, mit jeweils table darunter zum selektiven Anschauen. dashboard ersetzt durch https://weather.hiveeyes.org/grafana/d/shzA3o6kz/stationsansicht-cdc?orgId=1&var-STATION=Potsdam&var-QN=All&var-PRODUKT=10_minutes&var-PRODUKT=hourly
Potsdam hat als eine von sehr wenigen Stationen einen Sensor für langwellige rote Strahlung (neben den auch bei anderen Stationen erfaßten diffusen und globalen Strahlungsenergien). edit: link updated
Im gleichen Graph mit der Sonne ist dort noch der rel. Luftfeuchtewert beheimatet. Man erkennt, daß auch professionelle Sensoren bei 100% relH diese 100% anzeigen - aber sie können den kritischen Bereich zwischen über 90 und 100 noch sinnvoll darstellen.
cloudiness ist im Moment noch nicht zuverlässig; unabhängig davon sind die Maßeinheit dort Achtel, was Grafana im Moment noch nicht kann. ;)
Dafür aber ist @wtf gerade dabei, das MOSMIX-Vorhersagemodell innerhalb der DWD-Daten zu erschließen: Grafana (WIP!)
(edit: MOSMIX-CDC-Mix -link updated, jetzt mit deutlich mehr Stationen und nur noch 1x Station auswählen)
2 Likes
Das schaut schon sehr cool aus! Die Wolkendarstellung ist nett, fast schon realitätnah!
Seit Anfang Juni 2019 wird die Entwicklung bei https://github.com/hiveeyes/dwdweather2 weitergeführt.
Durch die Wiederbelebung konnten wir bereits einige sinnvolle Beiträge aus der Community einsammeln [1], unter anderem kam auch die Unterstützung für Python3 dazu [2].
[1] https://github.com/hiveeyes/dwdweather2/pulls?q=is%3Apr+is%3Aclosed
[2] Python 3 compatibility / Removed UPSERT by wtfuii · Pull Request #8 · panodata/dwdweather2 · GitHub
Hallo in die Runde,
zu diesem Thema gibt es mal wieder ein kurzes Update. Nachdem wir uns eine zeitlang um die Weiterentwicklung und Wartung von dwdweather2 gekümmert haben,
gibt es nun einen neuen Stern am Horizont.
Außerdem ist das vom Prototype Fund geförderte Projekt Bright Sky neu auf dem Radar.
Viele Grüße,
Andreas.
Es gibt über Neues zu berichten. Open-Meteo von Patrick Zippenfenig. Schönes Ding!
Vielleicht in Kombination mit Wetterdienst?
1 Like