Erschließung der HTTP-Datenexportschnittstelle via Arduino

Andreas · May 25, 2020, 8:22pm

Einleitung

Bei Anzeige der Daten auf einem e-Paper Display wollen wir ein e-Paper Display mit imkerlichen Daten füttern. Hier soll es darum gehen, wie wir an die Daten über HTTP per Arduino rankommen.

Andreas · May 20, 2020, 12:51am

Exzellent! Bei HTTP data export for Arduino findest Du eine Steilvorlage dazu, wie Du an die imkerlichen Daten rankommst, wenn Du Arduino verwendest. Die Code-Beispiele sind daran angelehnt, wie derzeit auch GitHub - G6EJD/ESP32-e-Paper-Weather-Display: An ESP32 and 2.9", 4.2" or 7.5" ePaper Display reads Weather Underground data via their API and then displays the weather die Wetterdaten abholt.

github.com

daq-tools/kotori/blob/91ae1cbe2aa1bd6ce1596fb111b6d1cfb22c1576/clients/runtime/arduino/hiveeyes-export/main.ino#L13-L17


      
          // Obtain weather information.
          //obtain_wx_data(client, "weather");
          
          // Obtain hive information.
          obtain_hiveeyes_data(client);

Egal ob mit Arduino oder MicroPython – für eine effizientere Abfrage der Daten sollten wir der Export-Schnittstelle von Kotori noch die Möglichkeit beibringen, nur den letzten/aktuellsten Datensatz auszugeben.

github.com/daq-tools/kotori

Improve data export interface

opened 12:35AM - 20 May 20 UTC

amotl

## Introduction Together with @MKO1640 of [Hiveeyes](https://hiveeyes.org/) fam…e, we are considering to use the [ESP32-e-Paper-Weather-Display](https://github.com/G6EJD/ESP32-e-Paper-Weather-Display) by @G6EJD (thanks, David!) in order to display weather and hive information on a Waveshare e-Paper module [1]. We outlined how to use Arduino to acquire beehive data from the HTTP data export interface of Kotori at [2]. ## Objectives Therefore, we would like to improve the HTTP export API [3] appropriately. - Optionally export only the most recent reading. - Optionally downsample time series data in order to reduce the amount of exported information. ## Rationale We can't know upfront about the original data acquisition frequency, but we have to take care about memory usage when data gets exported to embedded devices with constrained memory. So, we have to use "pandas.resample()" to aggregate time series data by a new time period (e.g. daily to monthly). See also: - https://machinelearningmastery.com/resample-interpolate-time-series-data-python/ - https://benalexkeen.com/resampling-time-series-data-with-pandas/ - https://www.earthdatascience.org/courses/use-data-open-source-python/use-time-series-data-in-python/date-time-types-in-pandas-python/resample-time-series-data-pandas-python/ - https://ourcodingclub.github.io/tutorials/pandas-time-series/ --- [1] https://community.hiveeyes.org/t/anzeige-der-daten-auf-einem-e-paper-display/3229 [2] https://github.com/hiveeyes/hiveeyes-epaper-display/tree/master/lib/hiveeyes [3] https://getkotori.org/docs/handbook/export/

MKO · May 25, 2020, 8:24pm

Leider komme ich beim einfügen des Kontori Beispielcodes nicht wirklich weiter.
Die http-Abfrage gibt mir immer ein

Connection failed, error: 04d

aus. Leider bin ich mir nicht sicher, was dieser Fehlercode genau bedeutet.

versucht, habe ich es dem Beispiel entsprechend mit /api-notls/ und mit /api/ aktuell bin ich bei

https://swarm.hiveeyes.org/api/hiveeyes/testdrive/area-38/fipy-workbench-01/data.json?include=weight.0,temperature.0x77.i2c:0,humidity.0x77.i2c:0,temperature.28ff641d8fc3944f.onewire:0,temperature.28ff641d8fdf18c1.onewire:0&from=now-10m

was mir im Browser auch eine recht übersichtliche .json Datei ausgibt.
Die selbe Anfrage mit /api-notls gibt übrigens ein

405 Method Not Allowed

aus.

Die .json von openweathermap.org schauen übrigens so aus.
weather.json (463 Bytes) forecast.json (14,3 KB)

clemens · May 25, 2020, 8:25pm

Hmm, kann die swarm.hiveeyes-API überhaupt unverschlüsselt? Kannst du die Abfrage oben per https nicht nutzen oder was ist da das Problem?

MKO · May 25, 2020, 11:34am

Stimmt, daran hab ich gar nicht gedacht. Hatte mich auf den Fehlercode: 04b fixiert und dabei gar nicht an die Verschlüsselung gedacht.
Werde werde heute Abend versuchen ob ich http get auch mit Verschlüsselung zum laufen bekomme. Wie ich das kenne, wird es wohl nicht reichen hier einfach Port 443 zu wählen oder?

53: http.begin(client, server, 80, uri);

Edit: wie es gehen sollte hab ich schon hier gefunden.

Andreas · May 25, 2020, 1:41pm

Das passiert nur, wenn man die /api-notls-URL mit https:// anspricht. Per http://swarm.hiveeyes.org/api-notls/ funktioniert es wie gewünscht:

http 'http://swarm.hiveeyes.org/api-notls/hiveeyes/testdrive/area-38/fipy-workbench-01/data.json?include=weight.0,temperature.0x77.i2c:0,humidity.0x77.i2c:0,temperature.28ff641d8fc3944f.onewire:0,temperature.28ff641d8fdf18c1.onewire:0&from=now-1m'

HTTP/1.1 200 OK
Channel-Id: /hiveeyes/testdrive/area-38/fipy-workbench-01
Connection: keep-alive
Content-Disposition: inline; filename=testdrive_area_38_fipy_workbench_01_20200525T133954_20200525T134054.json
Content-Type: application/json; charset=utf-8
Date: Mon, 25 May 2020 13:40:54 GMT
Server: nginx/1.10.3
Target-Address-Scheme: influxdb
Target-Address-Uri: hiveeyes_testdrive
Target-Database: hiveeyes_testdrive
Target-Expression: SELECT * FROM area_38_fipy_workbench_01_sensors WHERE time >= '2020-05-25 13:39:54.260' AND time <= '2020-05-25 13:40:54.268';
Transfer-Encoding: chunked

[
    {
        "humidity.0x77.i2c:0": 49.82338,
        "temperature.0x77.i2c:0": 19.45848,
        "temperature.28ff641d8fc3944f.onewire:0": 16.625,
        "temperature.28ff641d8fdf18c1.onewire:0": 19.5625,
        "time": "2020-05-25T13:39:57.780Z",
        "weight.0": 0.974
    },
    {
        "humidity.0x77.i2c:0": 49.82868,
        "temperature.0x77.i2c:0": 19.46161,
        "temperature.28ff641d8fc3944f.onewire:0": 16.625,
        "temperature.28ff641d8fdf18c1.onewire:0": 19.5625,
        "time": "2020-05-25T13:40:13.070Z",
        "weight.0": 0.977
    },
    {
        "humidity.0x77.i2c:0": 49.84942,
        "temperature.0x77.i2c:0": 19.46036,
        "temperature.28ff641d8fc3944f.onewire:0": 16.5,
        "temperature.28ff641d8fdf18c1.onewire:0": 19.5625,
        "time": "2020-05-25T13:40:28.357Z",
        "weight.0": 0.976
    },
    {
        "humidity.0x77.i2c:0": 49.839,
        "temperature.0x77.i2c:0": 19.45973,
        "temperature.28ff641d8fc3944f.onewire:0": 16.5,
        "temperature.28ff641d8fdf18c1.onewire:0": 19.5625,
        "time": "2020-05-25T13:40:43.641Z",
        "weight.0": 0.975
    }
]

Andreas · May 25, 2020, 2:00pm

Das ist seltsam, hier sollte laut

github.com

daq-tools/kotori/blob/91ae1cbe2aa1bd6ce1596fb111b6d1cfb22c1576/clients/runtime/arduino/hiveeyes-export/hiveeyes_client.h#L56-L56


      
          Serial.printf("Connection failed, error: %s", http.errorToString(httpCode).c_str());

eigentlich eine bessere Fehlermeldung herauskommen, siehe

github.com

espressif/arduino-esp32/blob/7de17176403f719400792d4986ff4259fc16f973/libraries/HTTPClient/src/HTTPClient.cpp#L859-L892


      
          /**
           * converts error code to String
           * @param error int
           * @return String
           */
          String HTTPClient::errorToString(int error)
          {
              switch(error) {
              case HTTPC_ERROR_CONNECTION_REFUSED:
                  return F("connection refused");
              case HTTPC_ERROR_SEND_HEADER_FAILED:
                  return F("send header failed");
              case HTTPC_ERROR_SEND_PAYLOAD_FAILED:
                  return F("send payload failed");
              case HTTPC_ERROR_NOT_CONNECTED:
                  return F("not connected");
              case HTTPC_ERROR_CONNECTION_LOST:
                  return F("connection lost");
              case HTTPC_ERROR_NO_STREAM:
                  return F("no stream");

This file has been truncated. show original

Gib doch auch mal zusätzlich den HTTP response status code per Serial.println(httpCode); aus.

clemens · May 25, 2020, 4:45pm

Irgendwas ist komisch, wenn ich per Konsole

http 'http://swarm.hiveeyes.org/api-notls/hiveeyes/testdrive/area-38/fipy-workbench-01/data.json?include=weight.0,temperature.0x77.i2c:0,humidity.0x77.i2c:0,temperature.28ff641d8fc3944f.onewire:0,temperature.28ff641d8fdf18c1.onewire:0&from=now-1m'

aufrufe, dann funktioniert es, im browser (akuteller FF) gibt es mit URL-Eingabe in der Adresszeile von

http://swarm.hiveeyes.org/api-notls/hiveeyes/testdrive/area-38/fipy-workbench-01/data.json?include=weight.0,temperature.0x77.i2c:0,humidity.0x77.i2c:0,temperature.28ff641d8fc3944f.onewire:0,temperature.28ff641d8fdf18c1.onewire:0&from=now-1m

einen automatischen redirect zu https (sic!)

https://swarm.hiveeyes.org/api-notls/hiveeyes/testdrive/area-38/fipy-workbench-01/data.json?include=weight.0,temperature.0x77.i2c:0,humidity.0x77.i2c:0,temperature.28ff641d8fc3944f.onewire:0,temperature.28ff641d8fdf18c1.onewire:0&from=now-1m

und damit ein 405

Method Not Allowed

Your browser approached me (at /api-notls/hiveeyes/testdrive/area-38/fipy-workbench-01/data.json?include=weight.0,temperature.0x77.i2c:0,humidity.0x77.i2c:0,temperature.28ff641d8fc3944f.onewire:0,temperature.28ff641d8fdf18c1.onewire:0&from=now-1m) with the method “GET”. I only allow the method HEAD here.

Lustig, Chrome leitet auch zu https um, Chromium und Edge nicht, da passt es! Server-Einstellungen??

Andreas · May 25, 2020, 5:01pm

Ja, so ist es. Das passiert wegen

$ http https://swarm.hiveeyes.org/ --print h | grep Strict
Strict-Transport-Security: max-age=15768000

und weil sich der Browser das merkt, wenn man die Seite damit bereits einmal per HTTPS besucht hat. Da darf man einfach nicht drauf hereinfallen.

HTTP Strict Transport Security (HSTS) is a web security policy mechanism that helps to protect websites against man-in-the-middle attacks such as protocol downgrade attacks and cookie hijacking.

It allows web servers to declare that web browsers (or other complying user agents) should automatically interact with it using only HTTPS connections, which provide Transport Layer Security (TLS/SSL), unlike the insecure HTTP used alone. HSTS is an IETF standards track protocol and is specified in RFC 6797.

[…]

The protection only applies after a user has visited the site at least once, and the way this protection works is that a user entering or selecting a URL to the site that specifies http, will automatically upgrade to https, without making an http request, which prevents the http man in the middle attack from occurring.

– HTTP Strict Transport Security - Wikipedia

Andreas · May 25, 2020, 5:14pm

P.S.: Ich habe gerade noch das Beispiel hiveeyes_client.h aktualisiert. Da von der Export-Schnittstelle eine Liste von Datensätzen zurückkommt, muss das erste Element adressiert werden:

MKO · May 25, 2020, 7:16pm

Dieser Fehler ist weg.

Natürlich kommt gleich der Nächste.

serializeJson() failed: InvalidInput

konnte diesen flott aber mit:

http.useHTTP10(true);

wegbekommen.

jetzt bekomme ich zwar keine Fehlermeldung, aber auch leider keine Werte.
Habe es wie in der common.h bei WxForecast versucht.


bool decode_data(WiFiClient& json) {
 
  // Allocate the JsonDocument
  DynamicJsonDocument doc(35 * 1024);

  // Deserialize the JSON document.
  DeserializationError error = deserializeJson(doc, json);

  // Test if parsing succeeds.
  if (error) {
    Serial.print(F("deserializeJson() failed: "));
    Serial.println(error.c_str());
    return false;
  }

  // Convert to JsonObject.
  JsonObject root = doc.as<JsonObject>();
  Serial.println(" Decoding hiveeyes data");
  // Decode data.
  JsonArray list                  = root["list"];
  for (byte r = 0; r < max_readings; r++) {
    Serial.println("\nPeriod-" + String(r) + "--------------");
    hive_data[r].time                   = list[r]["time"];
    hive_data[r].temperature_outside    = list[r]["temperature.0x77.i2c:0"];
    hive_data[r].humidity_outside       = list[r]["humidity.0x77.i2c:0"];
    hive_data[r].temperature_inside_1   = list[r]["temperature.28ff641d8fc3944f.onewire:0"];
    hive_data[r].temperature_inside_2   = list[r]["temperature.28ff641d8fdf18c1.onewire:0"];
    hive_data[r].weight                 = list[r]["weight.0"];
    Serial.println("time: "+String(hive_data[r].time));
    Serial.println("temperature_outside: "+String(hive_data[r].temperature_outside));
    Serial.println("humidity_outside: "+String(hive_data[r].humidity_outside));
    Serial.println("temperature_inside_1: "+String(hive_data[r].temperature_inside_1));
    Serial.println("temperature_inside_2 "+String(hive_data[r].temperature_inside_2));
    Serial.println("weight: "+String(hive_data[r].weight));
  }                             
  return true;
}

Ausgabe über Seriellen Monitor=

Connection to sever: swarm.hiveeyes.org/api-notls/hiveeyes/testdrive/area-38/fipy-workbench-01/data.json?
Connection to Hiveeyes OK 
Decoding hiveeyes data...

Period-0--------------
time: 0.00
temperature_outside: 0.00
humidity_outside: 0.00
temperature_inside_1: 0.00
temperature_inside_2 0.00
weight: 0.00

Period-1--------------
time: 0.00
temperature_outside: 0.00
humidity_outside: 0.00
temperature_inside_1: 0.00
temperature_inside_2 0.00
weight: 0.00

Period-2--------------
time: 0.00
temperature_outside: 0.00
humidity_outside: 0.00
temperature_inside_1: 0.00
temperature_inside_2 0.00
weight: 0.00

Period-3--------------
time: 0.00
temperature_outside: 0.00
humidity_outside: 0.00
temperature_inside_1: 0.00
temperature_inside_2 0.00
weight: 0.00
...

Werde ich nachher auch nochmal probieren.
Eine Liste zu erhalten ist aber sicher auch nicht verkehrt, um Graphen oder Alarme zu generieren.

Jetzt aber erstmal die Kid´s ins Bett bringen.

Andreas · May 25, 2020, 8:20pm

Mit dem vorliegenden Code passt das nicht:

Es gibt kein Element “list”. root ist direkt die Liste. Also entweder:

JsonArray list = root;

oder

JsonArray list = root.as<JsonArray>();

oder eben (nicht getestet) wie bei:

github.com

daq-tools/kotori/blob/eda83ea35ba5e623b33f21dbdd03ffc794421449/clients/runtime/arduino/hiveeyes-export/hiveeyes_client.h#L26-L34


      
          // Get the first element of the array.
          JsonObject first = doc[0];
          
          // Decode data.
          hive_data[0].temperature_outside    = first["temperature.0x77.i2c:0"];
          hive_data[0].humidity_outside       = first["humidity.0x77.i2c:0"];
          hive_data[0].temperature_inside_1   = first["temperature.28ff641d8fc3944f.onewire:0"];
          hive_data[0].temperature_inside_2   = first["temperature.28ff641d8fdf18c1.onewire:0"];
          hive_data[0].weight                 = first["weight.0"];

MKO · May 25, 2020, 11:44pm

Hat leider beides nicht funktioniert, gab bereits beim kompilieren Fehlermeldungen.
hab es jetzt aber doch irgendwie hin bekommen, die Daten zu bekommen.

Ich muß aber die Schleife noch abbrechen, wenn keine Daten mehr kommen.
und den Time String noch in eine echte Zeit umbauen.

bool decode_data(WiFiClient& json) {

  // Allocate the JsonDocument
  DynamicJsonDocument doc(35 * 1024);
  // Deserialize the JSON document.
  DeserializationError error = deserializeJson(doc, json);
  // Test if parsing succeeds.
  if (error) {
    Serial.print(F("deserializeJson() failed: "));
    Serial.println(error.c_str());
    return false;
  }
  // Convert to JsonObject.
  // Decode data.
 
  for (byte r = 0; r < max_readings; r++) {
    JsonObject root = doc[r]
    Serial.println("\nPeriod-" + String(r) + "--------------");
   
    hive_data[r].time                   = root["time"].as<char*>();
    hive_data[r].temperature_outside    = root["temperature.0x77.i2c:0"];
    hive_data[r].humidity_outside       = root["humidity.0x77.i2c:0"];
    hive_data[r].temperature_inside_1   = root["temperature.28ff641d8fc3944f.onewire:0"];
    hive_data[r].temperature_inside_2   = root["temperature.28ff641d8fdf18c1.onewire:0"];
    hive_data[r].weight                 = root["weight.0"];

    Serial.println("time: "+hive_data[r].time);
    Serial.println("temperature_outside: "+String(hive_data[r].temperature_outside));
    Serial.println("humidity_outside: "+String(hive_data[r].humidity_outside));
    Serial.println("temperature_inside_1: "+String(hive_data[r].temperature_inside_1));
    Serial.println("temperature_inside_2 "+String(hive_data[r].temperature_inside_2));
    Serial.println("weight: "+String(hive_data[r].weight));
  }                             
  return true;
}

Ausgabe:

Period-1--------------
time: 2020-05-20T00:00:25.627Z
temperature_outside: 18.88
humidity_outside: 44.89
temperature_inside_1: 15.88
temperature_inside_2 18.62
weight: 0.99

Period-2--------------
time: 2020-05-20T00:00:40.919Z
temperature_outside: 18.89
humidity_outside: 44.86
temperature_inside_1: 15.88
temperature_inside_2 18.62
weight: 0.99

Period-3--------------
time: 2020-05-20T00:00:56.232Z
temperature_outside: 18.89
humidity_outside: 44.88
temperature_inside_1: 15.75
temperature_inside_2 18.62
weight: 0.99

Period-4--------------
time: 2020-05-20T00:01:11.490Z
temperature_outside: 18.88
humidity_outside: 44.88
temperature_inside_1: 15.75
temperature_inside_2 18.62
weight: 0.99

Period-5--------------
time: 2020-05-20T00:01:26.786Z
temperature_outside: 18.88
humidity_outside: 44.89
temperature_inside_1: 15.75
temperature_inside_2 18.62
weight: 0.99

Period-6--------------
time: 2020-05-20T00:01:42.070Z
temperature_outside: 18.87
humidity_outside: 44.88
temperature_inside_1: 15.75
temperature_inside_2 18.62
weight: 1.00

Period-7--------------
time: 2020-05-20T00:01:57.383Z
temperature_outside: 18.88
humidity_outside: 44.89
temperature_inside_1: 15.75
temperature_inside_2 18.62
weight: 0.99

Period-8--------------
time: 2020-05-20T00:02:12.651Z
temperature_outside: 18.88
humidity_outside: 44.91
temperature_inside_1: 15.75
temperature_inside_2 18.62
weight: 0.99

Period-9--------------
time: 2020-05-20T00:02:27.942Z
temperature_outside: 18.88
humidity_outside: 44.91
temperature_inside_1: 15.75
temperature_inside_2 18.62
weight: 0.99

Period-10--------------
time: 2020-05-20T00:02:43.235Z
temperature_outside: 18.88
humidity_outside: 44.90
temperature_inside_1: 15.75
temperature_inside_2 18.62
weight: 0.99

Period-11--------------
time: 2020-05-20T00:02:58.515Z
temperature_outside: 18.87
humidity_outside: 44.91
temperature_inside_1: 15.75
temperature_inside_2 18.62
weight: 0.99

Period-12--------------

temperature_outside: 0.00
humidity_outside: 0.00
temperature_inside_1: 0.00
temperature_inside_2 0.00
weight: 0.00
...

MKO · May 26, 2020, 6:41am

Andreas:

oder eben (nicht getestet) wie bei:

github.com

daq-tools/kotori/blob/eda83ea35ba5e623b33f21dbdd03ffc794421449/clients/runtime/arduino/hiveeyes-export/hiveeyes_client.h#L26-L34

// Get the first element of the array.
JsonObject first = doc[0];

// Decode data.
hive_data[0].temperature_outside    = first["temperature.0x77.i2c:0"];
hive_data[0].humidity_outside       = first["humidity.0x77.i2c:0"];
hive_data[0].temperature_inside_1   = first["temperature.28ff641d8fc3944f.onewire:0"];
hive_data[0].temperature_inside_2   = first["temperature.28ff641d8fdf18c1.onewire:0"];
hive_data[0].weight

Hab es leider auch noch nicht geschafft zu testen, allerdings müsste JsonObject first = doc[0]; auf den ersten übertragenen und somit ältesten Datensatz vom Array verweisen.
Gibt es so etwas wie JsonObject first = doc[last];

Andreas · May 26, 2020, 11:38am

3 posts were merged into an existing topic: Anzeige der Daten auf einem e-Paper Display