MQTT Messages an Kafka weiterleiten

Entwicklung / Development Daten / Data
1

Hallo,

Ich möchte alle Messwerte, welche in der MQTT Queue landen, auch an einen Kafka Cluster weiterreichen, um diverse Analysen ausführen zu können.

Hierfür habe ich als ersten Ansatz das Kafka Connect-Plugin stream-reactor MQTT verwendet und zusätzlich ein Kafka Connect-Transform implementiert, um auch die Kotori Topologienamen in den Nachrichten zu haben: hiveeyes-mqtt-kafka-connect-transform. Habe aber noch Probleme mit Bindestrichen in Attributnamen (in Avro nicht erlaubt).

So sehen nun meine Avro-Messages in Kafka aus:
image

2

Hab da leider zu wenig Ahnung, vielleicht hilft das hier? MQTT Weiterleitung per Bridge Konfiguration an swarm.hiveeyes.org

3

Das mit der MQTT Bridge zu swarm.hiveeyes.org ist mir soweit bekannt. Ich wollte das Thema hier ansprechen, falls jemand Kafka einsetzen möchte.

1 Like