Imkerliche Daten nicht im Grafana sichtbar

[Thias]

Mein Dashboard zeigt keine Daten von vor 11. Juni mehr an. Was ist da passiert?

[Stefan]

Hab mal in mein Dashboard geschaut und ähnliches festgestellt.
Es werden allerdings Daten vor dem 30.4 angezeigt.

[Andreas]

Vielen Dank für Eure Meldungen, wir schauen gleich mal unter die Haube. Unsere Sensoren haben zwar keine Anomalien gemeldet, aber es kann ja trotzdem immer etwas schiefgehen. Wir wissen hoffentlich bald mehr, sorry vielmals wegen der Unannehmlichkeiten.

[clemens]

Scheint nicht an einem einzelnen node zu hängen, bei mir werden bei allen nodes auch keine Daten von 29.04.-11.06. angezeigt.

[Andreas]

Reproduktion des Problems

Eine Anfrage an die Datenbank zeigt in der Tat, dass nur noch ab dem 11.6. Daten vorhanden zu sein scheinen:

$ influx -precision rfc3339
> select * from hiveeyes_thias..thias_hive1_up_sensors order by time desc limit 1;

time                           analog_in_1
----                           -----------
2018-06-11T00:02:54.525116715Z 45.6

Analyse

Inspektion

Die Daten aus dem betroffenen Zeitraum scheinen aber trotzdem nicht verloren gegangen zu sein, sondern befinden sich weiterhin in der Datenbank:

root@elbanco:~# influx_inspect dumptsm /var/lib/influxdb/data/hiveeyes_thias/autogen/3481/000000034-000000003.tsm
Summary:
  File: /var/lib/influxdb/data/hiveeyes_thias/autogen/3481/000000034-000000003.tsm
  Time Range: 2018-05-21T00:04:32.062656616Z - 2018-05-27T23:55:37.022829936Z
  Duration: 167h51m4.96017332s   Series: 6   File Size: 127355

Statistics
  Blocks:
    Total: 12 Size: 126734 Min: 8456 Max: 12907 Avg: 10561
  Index:
    Total: 12 Size: 608
  Points:
    Total: 11730
  Encoding:
    Timestamp: 	none: 0 (0%) 	s8b: 12 (100%)
    Float: 	none: 0 (0%) 	gor: 12 (100%)
  Compression:
    Per block: 10.80 bytes/point
    Total: 10.86 bytes/point

Hier (influxdb_inspect_full_2018-06-17.txt) der volle Bericht per

influx_inspect dumptsm -index -blocks /var/lib/influxdb/data/hiveeyes_thias/autogen/3481/000000034-000000003.tsm

Integritätsprüfung

Alle Time Series Dateien scheinen in Ordnung zu sein:

influx_inspect verify -dir /var/lib/influxdb | grep -v healthy
Broken Blocks: 0 / 39609, in 0.5458587s

Metadatenbericht

Die Ausgabe von "influx_inspect report /var/lib/influxdb" sagt ebenfalls “alles normal”:
influxdb_report_2018-06-17.txt (278.4 KB)

Mögliche Ursache

Wir vermuten, dass ein oder mehrere “TSI” Index Dateien korrupte Daten enthält (siehe auch bspw. [1,2]) und werden versuchen, sie mit Hilfe des buildtsi Programms wiederherzustellen.

[1] Corrupt TSI files after database crash · Issue #9863 · influxdata/influxdb · GitHub
[2] Data in TSM file not accessible from query · Issue #9957 · influxdata/influxdb · GitHub

[Andreas]

Entstörung

Die Vermutung hat sich bestätigt, es waren wohl mindestens ein paar Index Dateien kaputt. Folgendermaßen konnten wir das Problem beheben:

# Shutdown InfluxDB
systemctl stop influxdb

# Remove all TSI index files
rm -r /var/lib/influxdb/data/*/*/*/index

# Rebuild TSI index files
su --command "influx_inspect buildtsi -datadir /var/lib/influxdb/data -waldir /var/lib/influxdb/wal" influxdb

# Start InfluxDB again
systemctl start influxdb

Siehe auch die Dokumentation zu influx_inspect buildtsi.

Fazit

Wir hoffen, dass nun wieder alle Daten im Grafana zu sehen sind.

– Have fun!

[Thias]

Vielen Dank @Andreas. Alle Daten sind wieder sichtbar. Schön, einen so fähigen Admin unter uns zu wissen!
Schönen Wochenausklang dir.

[Stefan]

Hallo @Andreas,

Auch von mir herzlichen Dank für die Problemlösung und Erläuterung.

Alle Daten sind wieder sichtbar.

Besten Dank!

[Thias]

@Andreas

Folgendermaßen konnten wir das Problem beheben:

Ob es wohl damit beim aktuellen Fall wieder getan ist? Diesmal fehlen scheinbar Daten vom 20. August bis zum 3. September. Siehe mein Dashboard.

[Andreas]

@Thias

Diesmal fehlen scheinbar Daten vom 20. August bis zum 3. September.

Vielen Dank für die Meldung, schade dass InfluxDB an dieser Stelle manchmal Aussetzer beim Management der Indexdateien zu haben scheint. Wir haben die Indexdateien nun wie oben beschrieben neu generiert, die Daten scheinen jetzt wieder sichtbar zu sein.

Zusatzhinweis zur Beruhigung: Die Messwerte selbst werden in jedem Fall sicher gespeichert, trotz mancher Schluckaufs mit InfluxDB sind bisher noch nie Daten verlorengegangen.

[Thias]

Danke, alles wieder da. Das nächste mal versuche ich es dann selber mit der Anleitung oben

[Thias]

Es ist schon wieder passiert. Habe mit der Anleitung oben die Daten wieder sichtbar “gemacht”.

[Andreas]

Tiptop, danke Dir!

[Andreas]

Die Anleitung zum Reparieren der Indexdateien ist nun auch unter Repair InfluxDB TSI index files zu finden.