Imkerliche Daten und Umweltdaten exportieren

Benutzung / Usage Datenexport und Alerts / Data export and alerts
, ,
1

Wie kann ich meine Daten (via Kotori?) aus der InfluxDB per API exportieren? Konkret schiele ich hier auf die Daten aus dem neuen Dashboard Open Hive Statista Demo.

Ich möchte die tatsächlich gemessenen Rohdaten exportieren, keine künstlich erzeugten Mittelwerte von Grafana!

Hintergrund / Sonderfall: Den Leuten im Statista-Projekt könnte ich auch sagen, sie können meine Daten unter http://open-hive.org/apiary/test-statista/node001/datalog.php anzapfen oder auch die tageweisen Datensätze bei mir auf open-hive.org z.B. http://open-hive.org/apiary/test-statista/node001/2019-03-21.txt abrufen, allerdings wäre es netter, wenn das über offizielle hiveeyes-Kanäle ginge. Später soll das auch nicht mehr über open-hive.org laufen, sindern direkt auf den hiveeyes-Server gehen.

2

Den Datenexport dieses Feeds bekommst Du hier:
https://swarm.hiveeyes.org/api/hiveeyes/open_hive/test_statista/default/1/data.txt

Beispielsweise gibt Dir https://swarm.hiveeyes.org/api/hiveeyes/open_hive/test_statista/default/1/data.txt?from=now-5h&to=now [CSV] beim aktuellen Messintervall ungefähr eine DIN A4 Seite an Daten im CSV Format.

Allerdings sind andere Formate vielleicht geeigneter, je nach Anwendungsfall, daher hier noch ein paar schnelle Direktlinks zum Abruf verschiedener Formate:

Rohdaten

  • JSON (maschinenlesbar, rendert aber auch schön wenn auch verbose im Firefox)
  • CSV
  • HTML, HTML+

Bilder

  • PNG (matplotlib; könnte hübscher werden ;])
  • PNG (ggplot; schneidet derzeit leider die Legende ab)
  • PNG (ggplot, xkcd-style, obligatorisch; schneidet derzeit leider auch die Legende ab, Beschriftung der X-Achse ebenfalls suboptimal)

Viele Grüße,
Andreas.

Bildergallerie

JSON

image

PNG, xkcd-style

image

3 Likes
7

Bestimmung der Exportfelder

Du kannst hier inklusiv oder exklusiv arbeiten, siehe auch Data export » Exclude fields.

Am Beispiel

Nur die Felder "Hive Temperature", "Hive Humidity" und "Weight" auswählen.

Auch hier wirkt sich das besser aus:

3 Likes
8

Export imkerlicher Daten

Ok, an “meine” Stockdaten komme ich nun gut ran, Danke!

Export von DWD Daten

@wtf, @Andreas wenn ich nun auch die parallel angezeigten DWD-Wetter-Daten aus dem entsprechenden Panel des Statista: Stockübersicht & Bienenwetter Dashboard exportiert haben möchte: Das geht vermutlich nur in einer separaten Datei, wie müsste die URL denn dafür aussehen bzw. geht das überhaupt?

9

A post was split to a new topic: Export von DWD Daten

10

8 posts were merged into an existing topic: CSV Daten über Grafana exportieren

13

Es geht einigermaßen, wir haben das unter https://community.hiveeyes.org/t/export-von-dwd-daten/1679 genauer beschrieben.

1 Like
14

Ich glaube hier passiert folgendes: Das Grafana entscheidet welche zeitliche Mindestauflösung gewählt wird anhand der Länge des dargestellten Zeitraums und schreibt diesen Wert in $__interval, den wir mit time($__interval) angeben. Wenn wir jetzt in alle Queries etwa time(1m) schreiben, müsste er (ggf. auch wieder künstliche) Mittelwerte errechnen. Vielleicht hilft das aber schon bei festen Intervallen oder es bietet sich vielleicht sogar an, time() ganz rauszunehmen.

Auf jeden Fall sollten solche Späßchen in ner separaten Ansicht gemacht werden, ehe nen Broswer explodiert, wenn jemand in nem time(1m)-Dashboard mal eben zwei Jahre aufruft ;)

2 Likes
15

Du meinst an dieser Stelle die 2. CSV Export Funktionalität im User Interface wie unter CSV Daten über Grafana exportieren beschrieben – also dass die Aggregation nach halbautomatisch(?) bestimmter Mindestauflösung ebenfalls “anliegt”, wenn man den CSV Export so durchführt?

Das kann man ja für Exportzwecke über 1. Direkt über die Data Source API ohnehin jederzeit tun, damit geht man dann direkt auf die Datenquelle. Ich meine hier nur, wir sollten keine für die Anzeige sinnvollen Dinge rausnehmen, nur weil sie für den Export nicht passen.

Solange der Server nicht explodiert!

19

Verstehe ich nicht, aber egal, warum 2 r threads, wenn eh Mischmasch?!?

21

Datenexport via Grafana

Das Dashboard Wetter: DWD / Stationsansicht (CDC) von @wtf ist dafür die richtige Anlaufstelle. Wenn man dabei der kurzen Anleitung CSV Daten über Grafana exportieren folgt, gelangt man zum Ziel. Danke @wtf und @weef!

Anmerkung: Bitte berücksichtigt, dass diese Funktionalität noch sehr umständlich zu handhaben ist, unter Datenexportschnittstellen verbessern schauen wir, wie wir weiterkommen.

2 Likes
26

Das funktioniert gerade via z.B. via https://swarm.hiveeyes.org/api/hiveeyes/zku/paxcounter/bauschilderung/data.png?renderer=ggplot&from=now-5h&to=now nicht

Unhandled exception: module ‘pandas’ has no attribute ‘tslib’

nur falls es sollte … oder abgeschaltet wegen insuffizienter Darstellung?

27

Danke Clemens.

Tja, das ist bekannt: Unhandled exception: module 'pandas' has no attribute 'tslib' · Issue #97 · daq-tools/kotori · GitHub

Ursache: Wie haben einen uralten Kotori auf der Kiste. Genauer gesagt, beinahe zwei Jahre alt.

$ /opt/kotori/bin/kotori --version
Kotori version 0.26.11

P.S.: Die neuesten Beiträge, wie z.B. TTS-/TTN-Daten an Kotori weiterleiten - #107 by Andreas, wurden nur punktuell und manuell mit heißer Nadel reingestrickt. Das offizielle Upgrade von Kotori müsste wohl zusammen mit Grafana stattfinden – also quasi eine ziemliche Runderneuerung des Gesamtsystems bis auf InfluxDB. – ! Grafana Update auf "swarm.hiveeyes.org"!

1 Like
28

A post was split to a new topic: Den aktuellsten publizierten Datensatz oder Einzelwert eines bestimmten Datenkanals abrufen?

30

Fehlerbehebung

We fixed it, on behalf of https://github.com/daq-tools/kotori/pull/147.

Beispiel


– https://swarm.hiveeyes.org/api/hiveeyes/zku/paxcounter/bauschilderung/data.png?renderer=ggplot&theme=xkcd&from=now-5h&to=now&include=pax

1 Like