Mein Dashboard zeigt keine Daten von vor 11. Juni mehr an. Was ist da passiert?
Hab mal in mein Dashboard geschaut und ähnliches festgestellt.
Es werden allerdings Daten vor dem 30.4 angezeigt.
Vielen Dank für Eure Meldungen, wir schauen gleich mal unter die Haube. Unsere Sensoren haben zwar keine Anomalien gemeldet, aber es kann ja trotzdem immer etwas schiefgehen. Wir wissen hoffentlich bald mehr, sorry vielmals wegen der Unannehmlichkeiten.
1 Like
Scheint nicht an einem einzelnen node zu hängen, bei mir werden bei allen nodes auch keine Daten von 29.04.-11.06. angezeigt.
Reproduktion des Problems
Eine Anfrage an die Datenbank zeigt in der Tat, dass nur noch ab dem 11.6. Daten vorhanden zu sein scheinen:
$ influx -precision rfc3339
> select * from hiveeyes_thias..thias_hive1_up_sensors order by time desc limit 1;
time analog_in_1
---- -----------
2018-06-11T00:02:54.525116715Z 45.6
Analyse
Inspektion
Die Daten aus dem betroffenen Zeitraum scheinen aber trotzdem nicht verloren gegangen zu sein, sondern befinden sich weiterhin in der Datenbank:
root@elbanco:~# influx_inspect dumptsm /var/lib/influxdb/data/hiveeyes_thias/autogen/3481/000000034-000000003.tsm
Summary:
File: /var/lib/influxdb/data/hiveeyes_thias/autogen/3481/000000034-000000003.tsm
Time Range: 2018-05-21T00:04:32.062656616Z - 2018-05-27T23:55:37.022829936Z
Duration: 167h51m4.96017332s Series: 6 File Size: 127355
Statistics
Blocks:
Total: 12 Size: 126734 Min: 8456 Max: 12907 Avg: 10561
Index:
Total: 12 Size: 608
Points:
Total: 11730
Encoding:
Timestamp: none: 0 (0%) s8b: 12 (100%)
Float: none: 0 (0%) gor: 12 (100%)
Compression:
Per block: 10.80 bytes/point
Total: 10.86 bytes/point
Hier (influxdb_inspect_full_2018-06-17.txt) der volle Bericht per
influx_inspect dumptsm -index -blocks /var/lib/influxdb/data/hiveeyes_thias/autogen/3481/000000034-000000003.tsm
Integritätsprüfung
Alle Time Series Dateien scheinen in Ordnung zu sein:
influx_inspect verify -dir /var/lib/influxdb | grep -v healthy
Broken Blocks: 0 / 39609, in 0.5458587s
Metadatenbericht
Die Ausgabe von "influx_inspect report /var/lib/influxdb" sagt ebenfalls “alles normal”:
influxdb_report_2018-06-17.txt (278.4 KB)
Mögliche Ursache
Wir vermuten, dass ein oder mehrere “TSI” Index Dateien korrupte Daten enthält (siehe auch bspw. [1,2]) und werden versuchen, sie mit Hilfe des buildtsi Programms wiederherzustellen.
[1] Corrupt TSI files after database crash · Issue #9863 · influxdata/influxdb · GitHub
[2] Data in TSM file not accessible from query · Issue #9957 · influxdata/influxdb · GitHub
1 Like
Entstörung
Die Vermutung hat sich bestätigt, es waren wohl mindestens ein paar Index Dateien kaputt. Folgendermaßen konnten wir das Problem beheben:
# Shutdown InfluxDB
systemctl stop influxdb
# Remove all TSI index files
rm -r /var/lib/influxdb/data/*/*/*/index
# Rebuild TSI index files
su --command "influx_inspect buildtsi -datadir /var/lib/influxdb/data -waldir /var/lib/influxdb/wal" influxdb
# Start InfluxDB again
systemctl start influxdb
Siehe auch die Dokumentation zu influx_inspect buildtsi.
Fazit
Wir hoffen, dass nun wieder alle Daten im Grafana zu sehen sind.
– Have fun!
2 Likes
Vielen Dank @Andreas. Alle Daten sind wieder sichtbar. Schön, einen so fähigen Admin unter uns zu wissen!
Schönen Wochenausklang dir.
1 Like
Hallo @Andreas,
Auch von mir herzlichen Dank für die Problemlösung und Erläuterung.
Alle Daten sind wieder sichtbar.
Besten Dank!
Ob es wohl damit beim aktuellen Fall wieder getan ist? Diesmal fehlen scheinbar Daten vom 20. August bis zum 3. September. Siehe mein Dashboard.
Vielen Dank für die Meldung, schade dass InfluxDB an dieser Stelle manchmal Aussetzer beim Management der Indexdateien zu haben scheint. Wir haben die Indexdateien nun wie oben beschrieben neu generiert, die Daten scheinen jetzt wieder sichtbar zu sein.
Zusatzhinweis zur Beruhigung: Die Messwerte selbst werden in jedem Fall sicher gespeichert, trotz mancher Schluckaufs mit InfluxDB sind bisher noch nie Daten verlorengegangen.
1 Like
Danke, alles wieder da. Das nächste mal versuche ich es dann selber mit der Anleitung oben
Es ist schon wieder passiert. Habe mit der Anleitung oben die Daten wieder sichtbar “gemacht”.
1 Like
Tiptop, danke Dir!
Die Anleitung zum Reparieren der Indexdateien ist nun auch unter Repair InfluxDB TSI index files zu finden.