.csv Daten kommen nicht (mehr) in Grafana an

Entwicklung / Development Fehleranalyse / Troubleshooting
1

Hallo,

ich suche nach einer Idee / Ursache warum meine .csv Daten nicht mehr im Dashboard ankommen.

Doch erst von Anfang an:
Ostern habe ich genutzt um meine gesammelten historischen Daten in die Platform zu laden.
Nach dem der historische Import so gut geklappt hat, habe ich mich entschieden das gleich Verfahren für die kontinuierliche Datenpflege zu verwenden.

Danke Eurer Anleitung klappte das auch mühelos.

https://swarm.hiveeyes.org/grafana/dashboard/db/munchen-trudering-trudies?orgId=2&refresh=5m&from=now-6M&to=now

Seit Dienstag den 24.04 ca 19 Uhr kommen keine Daten mehr an.

Ein manuell getriggerte Import sieht auf den ersten Blick gut aus - allerdings erscheinen die Datensätze nicht in der Darstellung.

Hier mein Versuch von gestern:

cat test3.csv | /usr/bin/http POST https://swarm.hiveeyes.org/api/hiveeyes/f795f7db-55f7-46a3-b874-05ccdc2d10cc/Trudering/Node1/data Content-Type:text/csv
HTTP/1.1 200 OK
Channel-Id: /hiveeyes/f795f7db-55f7-46a3-b874-05ccdc2d10cc/Trudering/Node1
Connection: keep-alive
Content-Type: application/json
Date: Tue, 25 Apr 2017 16:24:38 GMT
Server: nginx/1.6.2
Strict-Transport-Security: max-age=15768000
Transfer-Encoding: chunked

[
    {
        "message": "Received #44 readings", 
        "type": "info"
    }
]

Ideen? Anregungen?

Und schon mal Danke vorab!

Stefan

2

Hallo Stefan,

Ich habe da eine sehr gute Idee, wodurch da etwas Serverseitig zerbrochen sein könnte, nicht jedoch was.

Andreas und ich hatten in dieser Zeit an einem kleinen Nebenprojekt gearbeitet, welches die Daten von Luftdaten.info ins Grafana einpflegen kann mit dem Ziel, diese auch historisch darstellen zu können, vgl. luftdaten.getkotori.org.
Andreas hat dabei einiges in die Hand genommen. Wie ich Ihn kenne, wird er sich das demnächst mal ansehen.
Also bitte Geduld haben. Danke

3

Hallo Einsiedlerkrebs,

herzlichen Dank für die Information - dann warte ich einfach mal ab.
Wenn Ihr eine Lösung habt - wäre ich für einen Hinweis dankbar - dann kann ich die gesammelten Daten nach laden.

Und in der Zwischenzeit kann ich mich mich meinem dem neuen Waagenaufbau widmen.

Danke und viel Erfolg bei der Suche nach der Ursache.

Stefan

4

Liefern denn nicht andere aktuell auch per csv an, @clemens oder @mois ? Oder war das nur testweise?

5

Ich nicht.

----- Reply message -----

6

doch, bei mir war nur zwischenzeitlich das netzteil kaputt.
jetzt gehts wieder.
gruß
mois

Korrektur 13:18, ich war verwirrt: ich liefere ja nicht per csv sondern per http.

7

Weiß ich ja - das heißt aber, daß Du also per csv anlieferst, es also auch funktioniert - und @Stefan nicht auf @Andreas warten müßte?! Wenn es also aktuell bei Dir per csv klappt, stellt sich die Frage, was Eure Konfigurationen unterscheidet, daß es bei @Stefan nicht geht…

8

Wir haben zwischenzeitlich eine Authentifizierung bei der Datenanlieferung eingeführt. Vielleicgt kannst du @einsiedlerkrebs das Verfahren hier noch mal beschreiben. Kann es trotz 200 ok das sein?

9

Ich dachte, dass gilt nur für MQTT. Wo eine Authentifizierung für HTTP steckt, habe ich keine Idee. Zwar wird das intern auch auf den MQTT bus geschickt, localhost ist aber gewhitelisted. @Andreas ist aber heute wieder da, also spätenstens morgen, kann ich ihn dazu mal fragen.

Wie gesagt, denke ich dass es mit den Umbauarbeiten zu tun hat. Montag und auch Dienstag wurde intensiv am Kotori gearbeitet und HTTP wurde auf jeden Fall angefasst, ob .CSV direkt weiß ich nicht.

Deswegen übrigens:

Luftdaten.info_screen.png1661×990 187 KB

vgl. Grafana

10

Hallo @Stefan,

schön zu hören, dass es einwandfrei geklappt hat, die Daten auf die Plattform zu übermitteln. Umso bedauerlicher, dass es seit dem 24.4. nicht mehr klappt - sorry vielmals, falls wir dabei auf der Plattformseite etwas kaputtgemacht haben!

Ich stehe nun wieder bereit fürs gemeinsame Debugging, damit die Daten bald wieder fließen. Schickst Du denn weiterhin Daten und falls ja, in welchem Intervall?

Viele Grüße,
Andreas.

11

Hallo @Andreas,

ja ich sammle noch fleissig Daten daran soll es nicht scheitern.

Die Daten kommen alle 5 min und werden gleich weiter “geschoben”.
Hab mir da recht einfach beholfen in dem ich folgendes “Load”-skript aufrufe, wenn die Daten am Webserver ankommen

tail -1 /home/pi/hivedata.csv | /usr/bin/http POST https://swarm.hiveeyes.org/api/hiveeyes/f795f7db-55f7-46a3-b874-05ccdc2d10cc/Trudering/Node1/data Content-Type:text/csv

Brauchst Du sonst noch Infos oder Daten?

Viele Grüße und Danke vorab!
Stefan

12

Vielen Dank für die Info. Ich schaue nun einmal eine zeitlang zu per:

mosquitto_sub -h swarm.hiveeyes.org -t 'hiveeyes/#' -v

sowie

ngrep -d lo -W byline port 24642
```.

Wenn ich dabei nichts entdecken kann oder noch Zuarbeit von Dir brauche, gebe ich Bescheid!
13

Gerade kam ein Datensatz an, fein! Auf der HTTP Ebene sieht er so aus:

####
T 127.0.0.1:38562 -> 127.0.0.1:24642 [AP]
POST /api/hiveeyes/f795f7db-55f7-46a3-b874-05ccdc2d10cc/Trudering/Node1/data HTTP/1.0.
Host: swarm.hiveeyes.org.
X-Real-IP: 79.219.61.196.
X-Forwarded-Proto: https.
X-Forwarded-For: 79.219.61.196.
Connection: close.
Content-Length: 49.
Accept-Encoding: gzip, deflate.
Accept: application/json.
User-Agent: HTTPie/0.8.0.
Content-Type: text/csv.
.
2017-05-02 22:42:38,9.75,15.19,6.2,96,38669.50,,

##
T 127.0.0.1:24642 -> 127.0.0.1:38562 [AP]
HTTP/1.0 200 OK.
Date: Tue, 02 May 2017 20:42:42 GMT.
Channel-Id: /hiveeyes/f795f7db-55f7-46a3-b874-05ccdc2d10cc/Trudering/Node1.
Content-Type: application/json.
Server: TwistedWeb/17.1.0.
.
[
    {
        "message": "Received #1 readings",
        "type": "info"
    }
]

Auf MQTT folgendermaßen:

hiveeyes/f795f7db-55f7-46a3-b874-05ccdc2d10cc/Trudering/Node1/data.json {"time": "2017-05-02 22:42:38", "temps1": 9.75, "temps2": 15.19, "tempwww": 6.2, "humwww": 96.0, "weight1": 38669.5, "weight2": ""}
14

Hallo @Stefan,

ich konnte den Fehler lokal bei mir bisher leider noch nicht reproduzieren. Es wäre spitze, wenn Du Dein Meßintervall kurzzeitig auf 1 mal pro Minute herunterschrauben könntest. So bekomme ich die Daten noch öfters rein, um die Fehlersuche direkt am lebenden Objekt durchführen zu können. Wenn es geht, gerne auch alle 30 Sekunden :-).

Viele Grüße,
Andreas.

15

Ich konnte herausfinden, dass nach einem Neustart von Kotori genau ein Datensatz via CSV angenommen wird, deswegen sind hier auch wieder ein paar vorhanden:
https://swarm.hiveeyes.org/grafana/dashboard/db/hiveeyes-f795f7db-55f7-46a3-b874-05ccdc2d10cc-automatic?from=1493737213713&to=1493766759829

Ich muss mir das morgen noch einmal näher ansehen, um der Ursache hoffentlich auf die Spur zu kommen. Sorry vielmals für die Umstände einstweilen!

16

Hallo Andreas,

herzlichen Dank für Deine Mühe bei der Fehlersuche.

Zum eingrenzen hatte ich vor ein paar Tagen noch einmal einen Versuch gestartet:

https://swarm.hiveeyes.org/grafana/dashboard/db/hiveeyes-playground_ulmi-automatic?refresh=5s&orgId=2&from=1493445000812&to=1493472999844

Hier hatte ich noch mal einen Import von ca 50 Datensätzen probiert - und eine Handvoll ging durch - die restlichen nicht - also geht evlt. doch mehr durch als ein Datensatz - evlt. ein Zeitlimit / anderes Fenster.

Weiterhin noch viel Erfolg bei der Fehlersuche und ein ganz großes Dankeschön!

Viele Grüße
Stefan

17

Hi @Stefan,

die Daten sollten jetzt (per Fix regression re. CSV data acquisition) wieder fließen! Wenn Du die historischen Daten nochmals importieren willst, sollten wir einen lückenlosen Datenbestand in der Datenbank haben.

Herzliche Grüße,
Andreas.

18

Hallo @Andreas,

das sind ja super Nachrichten! Da werd ich gleich die Daten hochladen.

Recht herzlichen Dank für die Unterstützung und Fehlersuche - Eure Platform ist wirklich Klasse!

Herzliche Grüße,
Stefan

19

Herzlich gern und danke für das Lob. Wir freuen uns, Dich mit an Bord zu haben!

Schön, dass Du schon Daten seit Ende November letzten Jahres sammelst und hochgeladen hast:
https://swarm.hiveeyes.org/grafana/dashboard/db/hiveeyes-f795f7db-55f7-46a3-b874-05ccdc2d10cc-automatic?from=1479718155526&to=1493843838799

P.S.: Du kannst Dir das Dashboard kopieren und dann weiter verändern, wenn Du willst. Dabei kannst Du Dir gerne alle Dinge von den anderen Dashboards abschauen, die Dir gefallen. Wir schicken Dir dazu entsprechende Anmeldedaten in einer privaten Nachricht.

20