[Backlog] Terkin-Datenlogger für BOB

[Andreas]

Die Entwicklung und Ausreifung unseres FiPy-basierten Datenloggers geht sportlich weiter. Vielen Dank weiterhin allen Beteiligten fürs Mitanpacken. ^[1]

Im Fokus steht die weitere Stabilisierung, die Integration besserer Werkzeuge und natürlich die HTTP- und webbasierte Konfiguration des Terkin-Datenloggers zur Implementierung eines Captive Portal.

Dieser Beitrag will einen besseren Überblick ^[2] vermitteln. Da es Wiki-Artikel sind, können alle Interessierte gerne selbst editieren.

---

1. Wer Bettlektüre braucht und Retrospektiven etwas abgewinnen kann, wird hier und über entsprechende Abzweigungen daraus fündig:

   • MicroPython-Firmware schmirgeln (150er)
   • MicroPython-Firmware schmirgeln (240er)
   • Kontinuierliche Verbesserungen des Terkin-Datenloggers (600er)
   ↩︎

2. ZEHN hoch ↩︎

[Andreas]

Backlog 0.6.0bis

Hier eine kurze Zusammenstellung der Dinge, die sich seit dem Release der Version 0.5.1 des Datenloggers ergeben haben.

Robustheit, Wartbarkeit und optimales Bespielen des Geräts

Prio 1

• MQTT authentication from Kontinuierliche Verbesserungen des Terkin-Datenloggers (600er).
• Device discovery within LAN, see ESP32 network discovery through LAN IP scanning and Ethernet ARP monitoring.
• Introduce maintenance mode and suppress deep sleep, see
  • MicroPython-Firmware schmirgeln (240er)
  • Wartungsmodus für den Terkin-Datenlogger
• Upload/Configuration over IP, see
  • Upload und initiale Konfiguration der MicroPython-Firmware
  • Improving device management over network
• Use offset values for DS18B20 sensors from settings from Temperatursensoren justieren / kalibrieren.
• Enable/disable sensors on a per-sensor level (system and environmental).

Prio 2: Next steps

• @pinguin reported the device crashed at lte.deinit() and @Andreas experienced the same thing once just recently. We are talking about that detail at Improve watchdog behavior re. LTE modem deinit by pinguin999 · Pull Request #11 · hiveeyes/hiveeyes-micropython-firmware · GitHub and plan to activate the watchdog earlier in order to cover that situation.
• Use BME280 forced mode from Strom sparen beim Einsatz der MicroPython-Firmware im Batteriebetrieb.
• Check configuration of multiple BME280 sensors.
• @MKO wants configurable telemetry field names per telemetry data sink to get away from low-level hardware field names on all telemetry routes. We appreciate that.
• Based on the MicroTerkin Agent, we want to enable a more efficient transfer of source code files in development mode via FTP. We would like to add basic runtime configuration on top of that.

Prio 3: Next steps

• Check DS18B20 misreadings reported by @MKO at Stabilität und längere Testzeiträume des Terkin-Datenloggers.
• Retry reading of failed DS18B20 sensors requested by @clemens and @MKO, see Untersuchung und Verbesserung des Timings bei der Ansteuerung der DS18B20 Sensoren unter MicroPython.
• Interval-based WiFi- und MQTT-reconnect when not in deep sleep mode. Use things like exponential backoff here, see also [Agenda] Stromsparmaßnahmen für den MicroPython-Datenlogger auf Basis des Pycom FiPy mit Peripherie.
• @MKO also mentioned that currently a lot of unnecessary data concerning system and weight etc. is transferred, which would cause problems and/or higher operating costs with low data bandwidth. See also Kontinuierliche Verbesserungen des Terkin-Datenloggers (600er).
• Have a look at things like Board detection, CAT M1 Test program, Modem version info and Check disabling telnet and FTP

Prio 4: In situ monitoring and data buffering

• Publish status information at boot time with retained message to MQTT.
• Add more instrumentation, debug- and exception logging telemetry to improve remote debugging and error tracking, see also
  • Remote-Logging zur Ferndiagnose für den Terkin-Datenlogger
  • Konfiguration des Datenloggers per "settings.example-bob.py" verbessern
  • Python Error Tracking
  • Logging - Docs
• Unlock local storage for data and logs, see Zwischenpufferung von Daten und Log-Informationen auf SD-Karte. While it might have seemed to be too experimental to be used in practice for us in the past, there is now DTN for ESP32 and STM32 which should definitively be worth a look. Thanks for pointing that out, @weef.
• Integrate OLED support by @didilamken, see Bee Observer mit SSD1306 OLED-Display.

Laufzeitkonfiguration mit Captive Portal und weitere Verbesserungen

Prio 5

• General runtime configuration from Upload und initiale Konfiguration der MicroPython-Firmware.
• Add HTTP-based configuration / captive portal, see HTTP- und webbasierte Konfiguration für Terkin-Datenlogger (captive portal).
• Reduce WiFi transmission power to reduce radiation exposure and energy consumption.
• Check if it is finally time for unlocking Over-the-air programming (OTA), see Automatic self-update | Pycom user forum.
• Implement appropriate measurement cycle / interval, see Appropriately compute "time_until_next_measurement" · Issue #4 · hiveeyes/hiveeyes-micropython-firmware · GitHub.

Prio 6

• Device discovery based on zero-configuration networking (zeroconf), see ESP32 network discovery through mDNS with MicroPython.
• Improve maintenance mode (e.g. over MQTT), see Maintenance mode galore.
• Validate the correctness of the results deduced from Batterieüberwachung, voltage divider und attenuation für MicroPython-Firmware and respective topics from Review implementations of system sensors for Pycom MicroPython · Issue #5 · hiveeyes/hiveeyes-micropython-firmware · GitHub regarding ADC attenuation, voltage divider resistors and the relevant software implementation within SystemBatteryLevel.

Prio 7

• Add HTTP Basic Auth.
• Check MQTT/TLS from Kontinuierliche Verbesserungen des Terkin-Datenloggers (600er).
• More power saving from [Agenda] Stromsparmaßnahmen für den MicroPython-Datenlogger auf Basis des Pycom FiPy mit Peripherie.
  • (Measure and) transmit data as rarely as possible to further reduce airtime.
  • Functionality to store or buffer data into locally attached storage using CSV or other serialization formats from [Agenda] Stromsparmaßnahmen für den MicroPython-Datenlogger auf Basis des Pycom FiPy mit Peripherie and Sending telemetry data to different backends.
• More at Terkin for MicroPython.

Vielen herzlichen Dank fürs gemeinsame Einsammeln und Herausarbeiten all dieser Dinge. Für einige Details konnten wir dadurch bereits Lösungskonzepte erarbeiten, die nun nur noch implementiert werden wollen. Andere Details sind bereits so weit ausgereift, dass sie nur noch integriert werden wollen.