Welche ESP32-Arduino-lib für TTN im Jahr 2023?

clemens · March 8, 2023, 2:03pm

Ich bin etwas raus aus dem Thema and things have changed, Stichwort “The Things Stack V3”, daher meine Frage: Welche Bibliothek verwendet man denn heute für ein ESP32-basiertes board zusammen mit einem LoRa-Modul (RFMxx) wenn man die Arduino IDE nutzt und Daten an TTN schicken will?

Das habe ich für die ESP-IDF gefunden, also leider nicht für Arduino geeignet: GitHub - manuelbl/ttn-esp32: The Things Network device library for ESP32 (ESP-IDF) and SX127x based devices mit diesen netten features:

OTAA (over-the-air activation)

uplink and downlink messages

saving the EUIs and key in non-volatile memory

deep sleep and power off without the need for rejoining

Kennt ihr aktuelle Arduino-libs, die ähnliches unterstützen, besonders die deep sleep and power off-Geschichten?

Die Referenz im Arduino-Universum scheint immer noch das hier zu sein:

Als TTN-Overlay gibt es dazu GitHub - rgot-org/TheThingsNetwork_esp32

The TTN_esp32 class enables ESP32 devices with supported LoRaWAN modules to communicate via The Things Network. This library is a wrapper for MCCI-Catena/arduino-lmic library.

Es sei ein Versuch das hier für Arduino / Microchip RN2xx3 entwickelte nachzubauen, wobei die examples hier schon etwas reichhaltiger sind: arduino-device-lib/examples at master · TheThingsNetwork/arduino-device-lib · GitHub

Andreas · March 8, 2023, 9:47pm

Ja, scheint so. Hier beim originalen Repository steht folgendes dran:

Ja, das scheint die kanonische offizielle Bibliothek von/für TTN zu sein. Mit der geht es bestimmt noch nahtloser, allerdings steht dort dran:

Na, die sieht doch gut aus, und hat z.B. auch schon einen CayenneLPP Enkoder an Bord.

clemens · March 19, 2023, 5:39pm

Aus gleichem Haus gibt es auch eine TTN-Ergänzung MCCI Arduino LoRaWAN Library: https://github.com/mcci-catena/arduino-lorawan

User-friendly library for using the Arduino LMIC library with The Things Network and LoRaWAN® networks.

Irgendwelche Vorteile / Nachteile? Im Vergleich zu

Andreas · March 19, 2023, 7:52pm

Diese Bibliothek beinhaltet eine CayenneLPP Implementierung, siehe TTN_CayenneLPP.h und TTN_CayenneLPP.cpp. Erstere scheinbar nicht, siehe find “cayenne” in arduino-lorawan.

Andreas · April 9, 2023, 11:37am

Am feinsten wäre es natürlich, die RadioLib Bibliothek verwenden zu können, da sie bereits für eine Vielzahl an Funkchips Unterstützung mitbringt.

Der Support für LoRaWAN ist in der Mache, hat es aber noch nicht geschafft, veröffentlicht zu werden.

Referenzen

/cc @einsiedlerkrebs – ISM-to-MQTT relay with radio chips and Arduino - #13 by Andreas

Andreas · June 17, 2023, 9:03am

Bei ISM-to-MQTT relay with radio chips and Arduino - #15 by weef aufgegriffen, passt es glaube ich auch zu diesem Thema.

Das gleiche ist auch bei der LMIC Bibliothek der Fall:

Die RadioLib: Universal wireless communication library for Arduino unterstützt den Chip jedoch:

Andreas · June 17, 2023, 10:19am

Rejoining LoRaWAN network after Deep Sleep

In diesem Kontext könnte auch folgende Geschichte nicht uninteressant sein. Mit der MCCI LMiC Bibliothek unter Arduino scheint das Thema… Naja, weiß nicht so recht…

Mit der ttn-esp32 Bibliothek (ESP IDF only, no Arduino HAL) sollte das gut klappen, siehe deep_sleep/main/main.cpp. Gelegentliche Schluckaufs, wie z.B. deep_sleep not saving data · Issue #68 · manuelbl/ttn-esp32 · GitHub, weisen nicht auf grundlegende Probleme hin.

Mir war nicht klar, dass dieses wichtige Detail ggf. so sensibel und teilweise noch unerschlossen ist/scheint. Aber gut, beim Embedded Programming mit Funkerei ist eigentlich jedes Detail sensibel.

Bei Terkin/MicroPython hatte @Thias damals das entsprechende Feature beigetragen, wenn mich nicht alles täuscht.

– make use of LoRaWAN state restoration from NVRAM by thiasB · Pull Request #27 · hiveeyes/terkin-datalogger · GitHub
– Only restore LoRa state from NVRAM on wake from deep sleep by thiasB · Pull Request #28 · hiveeyes/terkin-datalogger · GitHub
– LoRaWAN: consider restored join status for both, OTAA and ABP activation · hiveeyes/terkin-datalogger@77a8f86 · GitHub

Soweit ich es mitbekommen habe, lief diese Geschichte seit Tag 0 immer gut? Oder hast Du dazu anderes zu berichten, @Thias?

P.S.: Auch hier ist die Softwareschnittstelle zum LoRa Chip als “ESP IDF only / no Arduino” ausgeführt, nur halt eben zusätzlich über ne MicroPython API zugänglich gemacht ^[1].

Das gibts bisher exklusiv im Pycom MicroPython Derivat. Ich hoffe, dass vielleicht Adafruit mit CircuitPython einmal etwas Ähnliches rausbringt? ↩︎

clemens · June 19, 2023, 8:31pm

Deep sleep und TTN wollte ich mir auch nochmal genauer anschauen, Danke für den Impuls @Andreas, und ja, sehr komisch, dass bei TTN-Geräten – die ja sehr häufig ultra low power laufen sollen – dieses Thema anscheinend dann doch nicht so zentral ist, dass alle Anwendungsfälle und side cases schon durchdekliniert sind. Die Wichtigkeit das Thema wurde 2020 auch schon postuliert: Feature request: Keep session during deep sleep. · Issue #5 · manuelbl/ttn-esp32 · GitHub

Currently, the underlying MCCI LMIC library does not support it even though there are discussions about implementing it. The feature would be a huge win for many applications.

I will implement it in this library if the MCCI LMIC implements it or if I find another suitable library that could be used instead of MCCI LMIC.

Warum es bei manchen läuft, und bei anderen Probleme macht, könnte auch an folgenden beiden Parametern liegen: a) der verwendete join-Prozedur und b) der Umgang mit per sketch gesetzen Variablen-Inhalten nach sleep mode (sprich ESP vs. “Arduino”).

Join via OTAA vs ABP

Der Unterschied zwischen Over the air activation (OTAA) und Activation by personalization (ABP) wird ganz gut unter LoRa-Endgeräte-Aktivierung (ABP vs. OTAA) beschrieben.

Und mit dem OTAA-Detail hier kommen wir unserem Problem auch schon näher:

Das Endgerät startet den Join-Vorgang, indem es eine Join-Request-Nachricht sendet. Diese enthält DevEUI, AppEUI und DevNonce. DevEUI und AppEUI beziehen sich auf den Global End Device bzw. Application Identifier und folgen dem IEEE EUI-64 Adressraumformat.

Die DevNonce ist eine Zufallszahl, die mit jedem Join-Vorgang größer wird. Dazu muss die DevNonce in einem nichtflüchtigen Speicher gespeichert werden.

ESP32 vs. Arduino, z.B. Cortex M0

Bei einem “normalen” Arduino könnte man die DevNonce einfach in eine Variable schreiben, dort überleben die nach Programmstart veränderten Variableninhalte auch einen deep sleep. Dagegen vergisst der ESP alle Variableninhalte bzw. initialisiert sie ggf. neu mit den default-Werten, da setup() nach jedem deep sleep cycle ausgeführt wird.

Bei der ttn-esp32-lib wird das so bschreiben Deep Sleep and Power Off · manuelbl/ttn-esp32 Wiki · GitHub

So the challenge with deep sleep and power off is to retain the information associated with the current TTN session.

Weiter steht da, dass ein neuer OTAA join nach jedem deep sleep cycle auch keine gute Idee ist:

If the state were not retained, the device would need to rejoin every time it wakes up from deep sleep or power off. This does not only take a lot of time and power. It also undermines many mechanisms for the efficient use of the LoRa spectrum. This is why TTN v3 implements restrictive limits on the number of joins.

Daher gibt es in der ttn-esp32 eine Mechanismus für deep sleep, s. Understanding the need of re-join · Issue #30 · manuelbl/ttn-esp32 · GitHub und Deep Sleep and Power Off · manuelbl/ttn-esp32 Wiki · GitHub

Allerdings ist die ttn-esp32-lib für die ESP-IDF und nicht für Arduino.

Jack Gruber – ich kenne ihn nicht :-) – hat im Artikel https://jackgruber.github.io/2020-04-13-ESP32-DeepSleep-and-LoraWAN-OTAA-join/ (code unter https://github.com/JackGruber/ESP32-LMIC-DeepSleep-example/) beschreiben wie er die notwendigen Parameter im RTC memory des ESP deep sleep save speichert.

Diskussionen, allgemein zu deep sleep, ESP32 und TTN auch unter What LMIC state must be preserved during sleep mode? - #32 by bluejedi - LMIC - The Things Network

In eine issue der MCCI LMIC lib wird interessanterweise auf die Implementierung beim Pax-Counter verweisen: deep sleep ttn otaa · Issue #889 · mcci-catena/arduino-lmic · GitHub

Für “Arduino-Boards” brauchen wir diesen Zauber nicht, Stuart Robinson hat die gleiche Funktionalität so für ein Non-ESP-board implementiert: Easy Build TTN and LoRaWAN Nodes | StuartsProjects

Und wenn wir statt OTAA mit ABP joinen brauchen wir uns auch keine Gedanken darüber zu machen. Vermutlich läuft es auch schon bei @Thias seit Ewigkeiten stabil, da er mit ABP joined.

Sicherheitstechnisch hat OTAA Vorteile, und wir sollten das nutzen. Wenn ich richtig informiert bin, braucht ABP aber keine uplinks, und ist an Standorten stabiler an denen ein node noch ein gateway erreicht, aber der node Probleme beim Empfang hat.

Andreas · June 19, 2023, 8:38pm

Genau.

Ja genau. So habe ich @Thias damals auch verstanden.

Allerdings hat er u.U. Teile davon sogar für beide Verfahren erschlossen? Siehe LoRaWAN: consider restored join status for both, OTAA and ABP activation · hiveeyes/terkin-datalogger@77a8f86 · GitHub.

Andreas · June 19, 2023, 10:07pm

Ah, nein. Der referenzierte Code steckt im "not has_joined()" Zweig.

github.com

hiveeyes/terkin-datalogger/blob/0.14.0/src/lib/terkin/network/lora.py#L100-L125


      
          if not self.lora.has_joined():
              import binascii
          
              datarate_join = self.settings.get('networking.lora.datarate_join')
          
              # Over-the-Air Activation (OTAA)
              if self.settings.get('networking.lora.activation') == 'otaa':
                  app_eui = binascii.unhexlify(self.settings.get('networking.lora.otaa.application_eui'))
                  app_key = binascii.unhexlify(self.settings.get('networking.lora.otaa.application_key'))
          
                  log.info('[LoRa] Attaching to the LoRaWAN network using OTAA')
                  if self.settings.get('networking.lora.otaa.device_eui') is None:
                      self.lora.join(activation=LoRa.OTAA, auth=(app_eui, app_key), timeout=0, dr=datarate_join)
                  else:
                      dev_eui = binascii.unhexlify(self.settings.get('networking.lora.otaa.device_eui'))
                      self.lora.join(activation=LoRa.OTAA, auth=(dev_eui, app_eui, app_key), timeout=0, dr=datarate_join)
          
              # Activation by Personalization (ABP)
              elif self.settings.get('networking.lora.activation') == 'abp':
                  import struct

This file has been truncated. show original

Andreas · June 19, 2023, 10:23pm

“Low power” ist vielleicht doch nicht so sehr bei den klassischen industriellen Anwendungsfällen relevant. Beispielsweise beim precision farming muss das Gerät, ob autonom oder nicht, genug Energie an Bord haben, um überhaupt fahren und mähen oder säen zu können. Dabei fällt die Versorgung eines Microcontrollers gar nicht so sehr ins Gewicht.

Aber für “remote monitoring”, und Energieversorgung per Solarzelle sieht es schon anders aus – klar.

Andreas · June 19, 2023, 10:39pm

Überblick

Anbei eine konkretere Auflistung der bisher bekannten Implementierungsvarianten bzw. -evolutionstufen.

Pycom MicroPython
ESP-IDF (kein Arduino) und ttn-esp32
ESP-IDF (Arduino) und LMiC (Jack Gruber)
Paxcounter (Arduino)

Pycom MicroPython

Ein wenig außer Konkurrenz, aber die Betrachtung der Implementierung kann trotzdem interessant sein.

github.com

hiveeyes/terkin-datalogger/blob/0.14.0/src/lib/terkin/network/lora.py#L181-L181


      
          self.lora.nvram_save()

github.com

pycom/pycom-micropython-sigfox/blob/v1.20.3.b3/esp32/mods/modlora.c#L2400-L2414


      
          STATIC mp_obj_t lora_nvram_save (mp_obj_t self_in) {
              LoRaMacRegion_t region = 0xFF;
              modlora_nvs_get_uint(E_LORA_NVS_ELE_REGION, &region);
              // if the region doesn't match, erase the previous stored data
              if (region != lora_obj.region) {
                  lora_nvram_erase(NULL);
              }
              LoRaMacNvsSave();
              modlora_nvs_set_uint(E_LORA_NVS_ELE_REGION, (uint32_t)lora_obj.region);
              modlora_nvs_set_uint(E_LORA_NVS_ELE_JOINED, (uint32_t)lora_obj.joined);
              if (ESP_OK != nvs_commit(modlora_nvs_handle)) {
                  nlr_raise(mp_obj_new_exception_msg(&mp_type_OSError, mpexception_os_operation_failed));
              }
              return mp_const_none;
          }

ttn-esp32

github.com

manuelbl/ttn-esp32/blob/v4.2.0-1/src/ttn_rtc.c#L27-L38


      
          void ttn_rtc_save()
          {
              // Copy LMIC struct except client, osjob, pendTxData and frame
              size_t len1 = LMIC_DIST(radio, pendTxData);
              memcpy(ttn_rtc_mem_buf, &LMIC.radio, len1);
              size_t len2 = LMIC_DIST(pendTxData, frame) - MAX_LEN_PAYLOAD;
              memcpy(ttn_rtc_mem_buf + len1, (u1_t *)&LMIC.pendTxData + MAX_LEN_PAYLOAD, len2);
              size_t len3 = sizeof(struct lmic_t) - LMIC_OFFSET(frame) - MAX_LEN_FRAME;
              memcpy(ttn_rtc_mem_buf + len1 + len2, (u1_t *)&LMIC.frame + MAX_LEN_FRAME, len3);
          
              ttn_rtc_flag = TTN_RTC_FLAG_VALUE;
          }

Arduino ESP32-LMiC

github.com

JackGruber/ESP32-LMIC-DeepSleep-example/blob/0ea9de374167290cf247b6a6343d423e1fa77802/src/main.cpp#L331-L362


      
          void SaveLMICToRTC(int deepsleep_sec)
          {
              Serial.println(F("Save LMIC to RTC"));
              RTC_LMIC = LMIC;
          
              // ESP32 can't track millis during DeepSleep and no option to advanced millis after DeepSleep.
              // Therefore reset DutyCyles
          
              unsigned long now = millis();
          
              // EU Like Bands
          #if defined(CFG_LMIC_EU_like)
              Serial.println(F("Reset CFG_LMIC_EU_like band avail"));
              for (int i = 0; i < MAX_BANDS; i++)
              {
                  ostime_t correctedAvail = RTC_LMIC.bands[i].avail - ((now / 1000.0 + deepsleep_sec) * OSTICKS_PER_SEC);
                  if (correctedAvail < 0)
                  {
                      correctedAvail = 0;
                  }

This file has been truncated. show original

Paxcounter

Die lowlevel Implementierung ttn_rtc_save im Paxcounter ist identisch mit der Implementierung in der ttn-esp32 Bibliothek.

github.com

cyberman54/ESP32-Paxcounter/blob/v3.6.0/src/lorawan.cpp#L480-L492


      
          void ttn_rtc_save() {
            // Copy LMIC struct except client, osjob, pendTxData and frame
            size_t len1 = LMIC_DIST(radio, pendTxData);
            memcpy(ttn_rtc_mem_buf, &LMIC.radio, len1);
            size_t len2 = LMIC_DIST(pendTxData, frame) - MAX_LEN_PAYLOAD;
            memcpy(ttn_rtc_mem_buf + len1, (u1_t *)&LMIC.pendTxData + MAX_LEN_PAYLOAD,
                   len2);
            size_t len3 = sizeof(struct lmic_t) - LMIC_OFFSET(frame) - MAX_LEN_FRAME;
            memcpy(ttn_rtc_mem_buf + len1 + len2, (u1_t *)&LMIC.frame + MAX_LEN_FRAME,
                   len3);
          
            ttn_rtc_flag = TTN_RTC_FLAG_VALUE;
          }

Allerdings – auch Paxcounter basiert auf Arduino – ist hier noch zusätzlich die C++ SaveLMICToRTC Routine von Jack Gruber zu finden, die am Ende ttn_rtc_save() aufruft.

github.com

cyberman54/ESP32-Paxcounter/blob/v3.6.0/src/lorawan.cpp#L518-L547


      
          void SaveLMICToRTC(uint32_t deepsleep_sec) {
            // ESP32 can't track millis during DeepSleep and no option to advance
            // millis after DeepSleep. Therefore reset DutyCyles before saving LMIC struct
          
            unsigned long now = millis();
          
            // EU Like Bands
          #if CFG_LMIC_EU_like
            for (int i = 0; i < MAX_BANDS; i++) {
              ostime_t correctedAvail =
                  LMIC.bands[i].avail -
                  ((now / 1000.0 + deepsleep_sec) * OSTICKS_PER_SEC);
              if (correctedAvail < 0) {
                correctedAvail = 0;
              }
              LMIC.bands[i].avail = correctedAvail;
            }
          
            LMIC.globalDutyAvail =
                LMIC.globalDutyAvail - ((now / 1000.0 + deepsleep_sec) * OSTICKS_PER_SEC);

This file has been truncated. show original

Andreas · June 19, 2023, 10:45pm

Der wesentliche Unterschied im low-level Bereich ist, dass das Beispiel von Jack Gruber pauschal alle Werte der LMiC Datenstruktur im RTC Speicher ablegt,

github.com

JackGruber/ESP32-LMIC-DeepSleep-example/blob/0ea9de374167290cf247b6a6343d423e1fa77802/src/main.cpp#L26-L27


      
          // Saves the LMIC structure during DeepSleep
          RTC_DATA_ATTR lmic_t RTC_LMIC;

während sowohl ttn-esp32 als auch der Paxcounter per ttn_rtc_save eine vermutlich fortschrittlichere Implementierung haben, die nur bestimmte Teile der LMiC Datenstruktur speichert.

Copy LMIC struct except client, osjob, pendTxData and frame.

clemens · June 20, 2023, 8:07am

Interessant ist dabei der changelog auf https://jackgruber.github.io/2020-04-13-ESP32-DeepSleep-and-LoraWAN-OTAA-join/ ganz unten:

Updates

2020-09-18 Save and load complete LMIC structure and reset DutyCyle
2020-11-26 Correct DutyCyle calculation for LMIC EU like band planes
2022-01-03 Reload condition for LMIC corrected

Hört sich so an, also ob das bis zum ersten update anders war. Im GIT-repo ist der erste commit allerdings von 2020-09-18

Andreas · June 20, 2023, 10:21am

Interessant, ja. Das scheint also ein Thema zu sein, ob “alles”, oder “nur einen Teil davon”.

Andreas · June 20, 2023, 10:26am

Hier auch die fertige Appliance von ihm.