Hallo zusammen, ich hatte heute ein gutes Telefonat mit einem Entwickler welcher die Asiatische Hornisse mittels AI Kamera fangen möchte. Die sind schon ziemlich weit mit dem Projekt. Aber es basiert auf YOLO5. Nun haben wir aber YOLO11 am Start. Ich werde für die versuchen eine Falle zu konstruieren um dieses Ding zu Fangen (Also in der Schweiz arbeiten wir mit Dochtgläsern um die AH anzulocken). Da aber AI Kameras nicht unter 80Euro zu bekommen sind habe ich mir überlegt ob es nicht auch mit einer 5 Euro Kamera geht. YOLO braucht ja keine AI Kamera. Aber kann man das so hinbekommen dass der Stromverbrauch auch niedrig bleibt?
Wer hat Interesse an einem Parallel Projekt? Und das ganze ist für einen guten Zweck und sollte möglichst kostengünstig sein und open source.
Also was wird benötigt? Personen die Erfahrung haben mit AI detection und Datenbanken erstellen können von der asiatischen Hornisse (alles andere müssten wir ja nicht detektieren). Wie kann man den Stromverbrauch auf ein Minimum bringen. Meldungen über e-Mail wenn so ein Viech detektiert wurde, und alle die noch Ideen haben. Was für HW. Braucht es da wirklich einen Raspi?
Bei uns ist ein Projekt am laufen, welches dieses Jahr rauskommmen sollte. Aber wenn wir parallel entwickeln und ein aktuelles YOLO benützen könnte es Synergien ergeben womit dann beide Systeme besser werden.
Also wer ist dabei? Bei mir ist das Asiatische Viech schon. Vielleicht können wir es eindämmen das es bei dir nicht ankommt (das ist wohl wunschdenken von mir)
Ob ein Umstieg auf Yolo11 viel bringt kann ich nicht abschätzen, habe mit Bienen-Modellen aber ähnliche Fragen. ;-) Falls die klassifizierten Trainingsdaten vorliegen könnte man “einfach” das Modell für Yolo11 neu trainieren. D.h. hier könnte man recherchieren, ob die Trainingsbilder samt Klassifikation public sind, auf die Schnelle habe ich bisher nix bei VespAI gefunden.
Da die Klassifikation on the edge sein sollte und wir nicht Bilder zur serverseitigen Auswertung verschicken wollen, sondern nur Klassifikationsergebnisse, wird unter einem RasPi oder ähnlich ausgestatteter stand-alone-AI-Cam (gibt es ggf. so was inkl. Telemetrie / WLAN) nix drin sein?!
Video als Datenquelle ist eben noch eine größere Herausforderung am Bienenstand als “nur” Sensordaten, entweder on the edge, dann braucht man doch etwas an Rechenpower und auch Strom oder nur Datenerhebung, dann brauchts eine dickere Leitung! Compromise oder entlang der Bedingungen vor Ort (Strom, Datenanbindung)!
Hallo Roland. Ich kenne mich wenig aus, aber ein bisschen, vom Zuschauen bei anderen.
Ja. YOLO5 ist zwar älter, aber es besteht wohl die Möglichkeit, es konkreter und einfacher spezialisieren zu können, und es auf eine Ausgewogenheit im Verhältnis zwischen Geschwindigkeit und Genauigkeit zu trimmen. Es scheint also sehr vielseitig einsetzbar zu sein, und muss für bestimmte Anwendungen nicht zwingend schlechter sein, z.B. wenn man es selber trainiert.
Hat der Entwickler denn andere Intentionen? Am besten wäre doch, zusammenzuarbeiten. Für einen Austausch, so dass andere mitwirken können, fühlt Euch hier gerne wie zu Hause.
Wir richten Euch dafür ggf. auch gerne eine eigene Kategorie hier im Forum ein, wie wir es schon beim HaniMandl gemacht haben.
Immer freundlich bleiben, dem Insekt kann man seine Lebensweise wohl nicht übel nehmen. :)
Ich würde mich da auch nicht so versteifen auf irgendeine spezielle Version, mittlerweile ist ja YOLO eher ein Firmen Produkt und nicht jede Erweiterung bedeutet auch eine Verbesserung speziell in diesem Fall.
Grundlegend, bin jetzt auch keine Experte, aber würde ich mal behaupten eine Image Classification würde auch ausreichen und muss nicht unbedingt mit YOLO gemacht werden. Es gibt ja auch Tensor Flow (zB LiteRT speziell für AI auf Geräten). Aber ich denke wenn du bereits mit einem Entwickler gesprochen hast wird der schon ziemlich viel Erfahrung und Zeit da reingesteckt haben und ob YOLOv5 oder YOLOv11 ist da sehr wahrscheinlich komplett irrelevant.
Am wichtigsten und Zeitintensivsten werden eh die Foto Annotationen werden, am besten sollten natürlich die Muster Fotos gleich von so einer Kamera kommen die dann auch im Einsatz ist, aber das wird wahrscheinlich sehr Aufwändig mit einer eigenen kleinen Kamera viele Beispielfotos zu machen.
Da wäre eben meine Idee / Hoffnung, dass wir das Modell oder annotierte Bilder von VespAI nehmen können, falls wir wirklich asiatische von europäischen Hornissen und anderen Insekten unterscheiden wollen. Alles andere, vom Daten sammeln bis Annotieren ist imo zu aufwändig.
Danke für die guten Inputs, Ich bin auch dabei YOLO neu zu lernen und habe wahrscheinlich zu wenig gelesen, das bestimmte YOLO Versionen geeigneter sein könnten für eine gewisse Anwendung. Aber lernt ja nie aus. :-)
Die ESP32CAM tönt auch gut, vorallem für Anwendungen wo man WLAN Empfang hat.
Ob VespAI ihr Modell freigibt für die Allgemeinheit kann ich nicht Beurteilen. Laut einer Veröffentlichung vom April 2024 könnte es sein, das die Freigegeben wird.
Wie oben geschrieben ist deren code public auf GitHub unter GitHub - andrw3000/vespai, auch die Modelle (*.pt-Dateien) sind dort im Unterverzeichnis /models/yolov5-params. Auf den ersten Blick scheint alles (für Yolo5) da zu sein, ich habe es aber nicht getestet, daher ohne Gewähr!
Das habe ich gerade auch mal probiert und dokumentiert, funktioniert! Schau’ mal hier: ESP-EYE: Videostream ins lokale Netz Nur mit der Kamera-Qualität werden wir keine Freude haben.
Vielleicht könnten wir schauen, ob wir an die Trainingsbilder von VespAI rankommen. Wenn du Kontakte in die Richtung hast, könntest du ja mal fragen, ob sie das zur Verfügung stellen, ggf. gibt es die ja auch, aber wir wissen nicht wo.
Genau. Meistens müssen Teile einer wissenschaftlichen Arbeit zurückgehalten werden, solange der Phd noch nicht im Kasten ist, mit Verteidigung der Arbeit, etc. pepe. Das dauert manchmal ein wenig.
Dadurch, dass die Autoren Andrew Corbett und Thomas O’Shea-Wheller bei GitHub aktiv sind, und GitHub - andrw3000/vespai ja bereits geteilt haben, inkl. passender open source Lizenzen, sind die Chancen doch hoch, dass sie generell sehr affin gegenüber open science Aspekten sind.
Hast Du die Autoren denn schon einmal angeschrieben, Roland? Sollen wir das übernehmen? Kanns Du die Veröffentlichung vom April 2024 mit uns teilen, so dass wir ggf. darauf Bezug nehmen können?
Die Software bei GitHub - andrw3000/vespai ist das Ergebnis eines Forschungsprojektes, und daher vermutlich noch nicht produktionsreif. Wir können uns ggf. gern darum kümmern, sie ein wenig aufzumöbeln, falls möglich.
Auch hier zieht das gleiche Argument wie es für die YOLO Generationen gilt: Die neuesten Generationen dieser Technologien sind zwar leistungsfähiger, aber momentan gleichzeitig auch ressourcenhungriger als die vorherigen Generationen. Das heißt, dass die oberste Devise für einen Betrieb im Feld vermutlich weiterhin sein wird, auf das Strombudget hin zu optimieren.
In dem Fall ging die Wahl wohl in Richtung YOLO5 auf Coral, statt YOLO11 auf Hailo, möglicherweise aus solchen Beweggründen heraus?
Danke für die konstruktiven Antworten. Noch kleinere Überlegungen von mir: Aus zwei Aspekten finde ich, das dass System mit möglichst wenigen Komponenten auskommen sollte.
der Stromverbrauch sollte so gering wie möglich sein und
die Kosten nicht all zu hoch. Es sollte ja finanziell tragbar sein so das möglichst viele Systeme gebaut werden.
Bei der HW sehe ich das auch so wie Andreas, z.B. mit jeder Generation vom Raspi säüft der mehr (Sollte aber auch HW sein welche noch langjährig zu bekommen ist). Würde es ja wichtig finden, das nur HW verwendet wird, welche die Leistung hat welche benötigt wird. Das heisst aber nicht, das neuere HW schlechter sein muss. Wenn es Sinn macht kann man ja mit mehr HW leben wenn der Stromverbrauch gesenkt wird. Der Stromverbrauch wird ein zentrales Thema sein. Für mich sollte das System auch dort einsetzbar sein wo kein Strom zur Verfügung ist. Würde mir die Kiste ja nicht gerade neben das Bienenhaus stellen um die Hornisse anzulocken (kenne aber auch wenige Bienenhäuser mit Strom bei uns).
Von der HW her habe ich das Gefühl, das es eine Gratwanderung werden kann. Klar zum Entwickeln ist es toll auf die neusten Technologien aufzubauen. Aber wird die dann erschwinglich sein für die Allgemeinheit? Da wird es in diesem Forum einige haben die mehr auf dem Kasten haben in AI als ich. Aber das macht ja eine OpenSource Gemeinschaft aus. Jeder kann einbringen was er will. Kein muss, aber jeder einzelne hat seine Stärken. Einige SW-seitig, andere HW-seitig und dann noch die wo in der Mechanik stark sind sowie die einfach nur Ideen haben oder andere die es Testen :-). Aleine ist so ein Projekt Grundsätzlich machbar. Wenn es aber schon Experten gibt ist es halt einfacher so was umzusetzen.
Gruss Roli
Ich denke da beißt sich die Maus in den eigenen Schwanz, Bidverarbeitung ist energie- und datentechnisch einfach eine andere Hausnummer als nur Sensordaten zu erheben und diese wegzuschicken. Ein paar Ideen dazu:
Schlafzeiten: Deep sleep- oder light sleep-Phasen mit Stromreduktion wenn keine Velutina erwartet wir (in der Nacht, bei kalten Temperaturen) siehe Raspberry Pi mit Solar betreiben
Bewegungserkennung: Nicht optisch, sondern mit weiterem (stromsparenden) Sensor!, um stromhunrige Maschinerie erst zu starten, wenn was los ist. könnte für manche Systeme (ESP32) funktionieren, da die recht schnell wach sind, für manch andere (RasPi) nicht, da das Hochfahren einige Zeit braucht und dann die Velutina schon wieder weg sein wird.
[todo checken, was Insektenbewegungen detektieren kann und wenig Strom braucht (PIR / Radar / …? )]
Nur Datenerhebung in situ und keine Auswertung on the edge, sondern Daten übertragen, KI wo anders laufen lassen – halte ich für wenig zielführend (zumindest für ein völliges autarkes Szenario mit weder Strom noch Internet am Ort), da hier dennoch am Ort der Erhebung ein Webserver laufen müsste und vor allem eine Internetverbindung geschaffen werden muss, die mit LTE im Dauerbetrieb auch nicht stromsparend sein wir. Mit WLAN in der Nähe könnte es noch funktionieren, s. ESP-EYE: Videostream ins lokale Netz, da ist ein ESP32 mit (schlechter 2 MP-cam) mit 180 mA möglich.
Ja, wie du schreibst Gratwanderung, für den Anfang sollte auf einer Seite kein Abhang sein, und wir könnten überlegen, ob zumindest der Strom oder Internet für die ersten Schritte als “gegeben” gesetzt werden sollte.
Ja, da bin ich in deiner Meinung. Braucht ja auch ein wenig mehr Rechenleistung als nur so Sensordaten auszulesen. Der gewisse Stromverbrauch ist halt gegeben. Habe mal ein bisschen gelesen und es scheint schon so, das eine AI Kamera (obwohl halt relative teuer) am wenigsten Saft braucht. Ein gewissen Stromverbrauch wird gegeben sein. Da müsste man halt die restliche HW so auslegen, das die ein minimum benötigt.
" * Schlafzeiten: Deep sleep- oder light sleep-Phasen mit Stromreduktion wenn keine Velutina erwartet wir (in der Nacht, bei kalten Temperaturen) siehe Raspberry Pi mit Solar betreiben"
Sicher eine gute Idee. In der Nacht muss das System wahrlich nicht laufen. Ein kontroliertes Herunterfahren für die Nacht könnte da zum Beispiel über einen Lichtsensor gemacht werden. Könnte mir da gut Vorstellen, das für den Einschaltworgang auch ein uC wie der ESP32 oder noch ein viel kleineren verwendet werden kann. Der sollte dann vorallem beim Hochfahren von dem Linux sicherstellen das die Batterie auch noch genügent Saft hat. Aus meiner Erfahrung kommt es nicht gut wenn ein Linux System die einfach so Stromlos gemacht wird.
Bei den kalten Temperaturen währe noch herauszufinden wann das Hornisslie Fliegt. Was man weiss bis heute ist, das die auch noch bei wesendlichen kälteren Temperatuten unter wegs sind als die Bienen.
" Bewegungserkennung: Da Stimme ich dir voll zu, das der Raspi zu lange hat um Hochzufahren. an Diesem Phenomän könnte man aber ein bisschen entgegenwirken wenn man ein minimal Linux nimmt ohne GUI (würde auch nich ein wenig Strom sparen), oder eine HW nimmt welche nicht von der SD Cadr bootet sondern wo das System auf einem Flash ist. Da kommt mir der BeagleBone in den Sinn als Raspi Ersatz.
Denke das Internet kann nicht als gegeben angeschaut werden. Da wird es wohl der Stromverbrauch sein der als gegeben ist. Von meiner Sicht aus, sollte das Datenvolumen minimiert werden für den Enduser, für die Entwicklung oder Forschung können ja Bilder Versendet werden. Aber als Endprodukt sollte es dem User genügen wenn er eine Mail oder SMS bekommt, wenn eine Hornisse detektiert wurde. Was man damit dan macht ist dann jedem selber überlassen.
Für mich wäre also der Stromverbrauch die flache Seite. der kann in einem zweiten Schritt verbessert werden. Darf aber im ersten Schritt nicht vergessen gehen bei der Auswahl von der Hardware.
