KI ist mehr als nur ein Modell: Vier Schritte zum vollständigen Workflow-Erfolg

ngenieur*innen sind zunehmend bestrebt, KI erfolgreich in Projekte und Anwendungen zu integrieren, während sie versuchen, ihre eigene KI-Lernkurve zu meistern. Allerdings werden viele KI-Projekte nach wenig vielversprechenden Ergebnissen wieder verworfen. Woran liegt das? Johanna Pingel, Product Marketing Manager bei MathWorks, erläutert, warum es für Ingenieur*innen wichtig ist, sich auf den gesamten KI-Workflow zu konzentrieren und nicht nur auf die Modellentwicklung:

Ingenieur*innen, die Machine Learning und Deep Learning einsetzen, erwarten oft, dass sie einen großen Teil ihrer Zeit mit der Entwicklung und Feinabstimmung von KI-Modellen verbringen. Die Modellierung ist zwar ein wichtiger Schritt im Workflow, aber das Modell ist nicht alleiniges Ziel. Das Schlüsselelement für den Erfolg bei der praktischen KI-Implementierung ist das frühzeitige Aufdecken von Problemen. Außerdem ist es wichtig zu wissen, auf welche Aspekte des Workflows man Zeit und Ressourcen konzentrieren sollte, um die besten Ergebnisse zu erzielen. Das sind nicht immer die offensichtlichsten Schritte.

Der KI-gesteuerte Workflow

Es lassen sich vier Schritte in einem KI-gesteuerten Workflow differenzieren, wobei jeder Schritt seine eigene Rolle bei der erfolgreichen Implementierung von KI in einem Projekt spielt.
 

Schritt 1: Datenaufbereitung

Die Datenaufbereitung ist wohl der wichtigste Schritt im KI-Workflow: Ohne robuste und genaue Daten zum Trainieren eines Modells sind Projekte rasch zum Scheitern verurteilt. Wenn Ingenieur*innen das Modell mit „schlechten” Daten füttern, werden sie keine aufschlussreichen Ergebnisse erhalten – und wahrscheinlich viele Stunden damit verbringen, herauszufinden, warum das Modell nicht funktioniert.

Um ein Modell zu trainieren, sollten Ingenieur*innen mit sauberen, gelabelten Daten beginnen, und zwar mit so vielen wie möglich. Dies kann einer der zeitaufwendigsten Schritte des Workflows sein. Wenn Deep Learning-Modelle nicht wie erwartet funktionieren, konzentrieren sich viele darauf, wie man das Modell verbessern kann – durch das Optimieren von Parametern, die Feinabstimmung des Modells und mehrere Trainingsiterationen. Doch noch viel wichtiger ist die Aufbereitung und das korrekte Labeln der Eingabedaten. Das darf nicht vernachlässigt werden, um sicherzustellen, dass Daten korrekt vom Modell verstanden werden können.
 

Schritt 2: KI-Modellierung

Sobald die Daten sauber und richtig gelabelt sind, kann zur Modellierungsphase des Workflows übergegangen werden. Hierbei werden die Daten als Input verwendet und das Modell lernt aus diesen Daten. Das Ziel einer erfolgreichen Modellierungsphase ist die Erstellung eines robusten, genauen Modells, das intelligente Entscheidungen auf Basis der Daten treffen kann. Dies ist auch der Punkt, an dem Deep Learning, Machine Learning oder eine Kombination davon in den Arbeitsablauf einfließt. Hier entscheiden die Ingenieur*innen, welche Methoden das präziseste und robusteste Ergebnis hervorbringt.

Die KI-Modellierung ist ein iterativer Schritt innerhalb des gesamten Workflows, und Ingenieur*innen müssen die Änderungen, die sie während dieses Schrittes am Modell vornehmen, nachverfolgen können. Die Nachverfolgung von Änderungen und die Aufzeichnung von Trainingsiterationen mit Tools wie dem Experiment Manager von MathWorks sind entscheidend, da sie helfen die Parameter zu erklären, die zum genauesten Modell führen und reproduzierbare Ergebnisse liefern.
 

Schritt 3: Simulation und Tests

Ingenieur*innen müssen beachten, dass KI-Elemente meistens nur ein kleiner Teil eines größeren Systems sind. Sie müssen in allen Szenarien im Zusammenspiel mit anderen Teilen des Endprodukts korrekt funktionieren, einschließlich anderer Sensoren und Algorithmen wie Steuerung, Signalverarbeitung und Sensorfusion. Ein Beispiel ist hier ein Szenario für automatisiertes Fahren: Dabei handelt es sich nicht nur um ein System zur Erkennung von Objekten (Fußgänger*innen, Autos, Stoppschilder), sondern dieses System muss mit anderen Systemen zur Lokalisierung, Wegplanung, Steuerung und weiteren integriert werden. Simulationen und Genauigkeitstests sind der Schlüssel, um sicherzustellen, dass das KI-Modell richtig funktioniert und alles gut mit anderen Systemen harmoniert, bevor ein Modell in der realen Welt eingesetzt wird.

Um diesen Grad an Genauigkeit und Robustheit vor dem Einsatz zu erreichen, müssen Ingenieur*innen validieren, dass das Modell in jeder Situation so reagiert, wie es soll. Sie sollten sich auch mit den Fragen befassen, wie exakt das Modell insgesamt ist und ob alle Randfälle abgedeckt sind. Durch den Einsatz von Werkzeugen wie Simulink können Ingenieur*innen überprüfen, ob das Modell für alle erwarteten Anwendungsfälle wie gewünscht funktioniert, und so kosten- und zeitintensive Überarbeitungen vermeiden.
 

Schritt 4: Einsatz

Ist das Modell reif für die Bereitstellung, folgt als nächster Schritt der Einsatz auf der Zielhardware – mit anderen Worten, die Bereitstellung des Modells in der endgültigen Sprache, in der es implementiert werden soll. Das erfordert in der Regel, dass die Entwicklungsingenieur*innen ein implementierungsbereites Modell nutzen, um es in die vorgesehene Hardwareumgebung einzupassen.

Die vorgesehene Hardwareumgebung kann vom Desktop über die Cloud bis hin zu FPGAs reichen. Mithilfe von flexiblen Werkzeugen wie MATLAB kann der endgültige Code für alle Szenarien generiert werden. Das bietet Ingenieur*innen den Spielraum, ihr Modell in einer Vielzahl von Umgebungen einzusetzen, ohne den ursprünglichen Code neu schreiben zu müssen. Das Deployment eines Modells direkt auf einer GPU kann hier als Beispiel dienen: Die automatische Codegenerierung eliminiert Codierungsfehler, die durch eine manuelle Übersetzung entstehen könnten, und liefert hochoptimierten CUDA-Code, der effizient auf der GPU läuft.

Gemeinsam stärker

Ingenieur*innen müssen keine Datenwissenschaftler*innen oder gar KI-Expert*innen werden, um mit KI erfolgreich zu sein. Mit Werkzeugen für die Datenaufbereitung, Anwendungen zur Integration von KI in ihre Arbeitsabläufe und mit verfügbaren Expert*innen, die Fragen zur KI-Integration beantworten, können sie KI-Modelle auf Erfolgskurs bringen. In jedem dieser Schritte im Workflow haben Ingenieur*innen die Möglichkeit, flexibel ihr eigenes Domänenwissen einzubringen. Dies ist eine wichtige Basis, auf der sie mit den richtigen Ressourcen aufbauen und die sie durch KI ergänzen können.

Über MathWorks

MathWorks ist der führende Entwickler von Software für mathematische Berechnungen. MATLAB, die Programmiersprache für Ingenieurwesen und Wissenschaft, ist eine Programmierumgebung für die Algorithmen-Entwicklung, Analyse und Visualisierung von Daten sowie für numerische Berechnungen. Simulink ist eine Blockdiagramm-basierte Entwicklungsumgebung für die Simulation und das Model-Based Design von technischen Mehrdomänen-Systemen und Embedded Systemen. Ingenieure und Wissenschaftler weltweit setzen diese Produktfamilien ein, um die Forschung sowie Innovationen und Entwicklungen in der Automobilindustrie, der Luft- und Raumfahrt, der Elektronik, dem Finanzwesen, der Biotechnologie und weiteren Industriezweigen zu beschleunigen. MATLAB und Simulink sind zudem an Universitäten und Forschungsinstituten weltweit wichtige Lehr- und Forschungswerkzeuge. MathWorks wurde 1984 gegründet und beschäftigt mehr als 5000 Mitarbeiter in 16 Ländern. Der Hauptsitz des Unternehmens ist Natick, Massachusetts, in den USA. Lokale Niederlassungen in der D-A-CH-Region befinden sich in Aachen, München, Paderborn, Stuttgart und Bern. Weitere Informationen finden Sie unter mathworks.com.

Robotics Smarttech – mein erstes Mal fischertechnik

Auch wenn ich schon viele Roboter gebaut und getestet habe, ist dies heute eine Premiere! In den letzten Tagen habe ich zum ersten Mal einen Roboter von fischertechnik gebaut.  Die Pressankündigung des fischertechnik Robotics Smarttech haben wir bereits in den letzten Tagen vorgestellt. [LINK]

Nun durfte ich ihn selber testen. Das Bausystem war mir zwar neu, hat mir aber auf Anhieb Spaß gemacht und ist wirklich einfach zu verwenden. Hat man sich einmal an die Bauanleitung und deren Stil gewöhnt, ist diese einfach verständlich. Während des Zusammenbaus des vierrädrigen Roboters mit den Omniwheels und dem Gestensensor, der mich ungefähr vier Stunden beschäftigt hat, habe ich dann auch gelernt auf welche Feinheiten ich in der Anleitung achten muss. Mir, als fischertechnik Neuling, sind zwei, drei Fehler passiert, die mir aber beim nächsten fischertechnik Modell bestimmt nicht mehr passieren würden. Überrascht war ich, dass man bei diesem Set die Kabel noch selber ablängen, abisolieren und die Steckverbinder anbringen muss. Das war ich aus anderem Roboter Kästen bisher nicht gewohnt; dies bietet aber die tolle Möglichkeit Kabel nach eigenen Wünschen und Längen zu erstellen. Diese Möglichkeit besteht bei vielen anderen Herstellern nicht und gerade wenn man mal einen etwas größeren Roboter baut, ist es von Vorteil wenn man lange Kabel selber fertigen kann.

Die Bauteile halten gut zusammen und es lassen sich sehr stabile Roboter konstruieren. Kinder brauchen hier vielleicht an der ein oder anderen Stelle etwas Unterstützung wenn die Teile, gerade wenn sie noch neu sind, noch etwas schwergängig zusammen zu stecken sind. Der von mir gebaute Roboter war dafür im Anschluss sehr stabil und überlebt selbst kleinere Stürze ohne dass Teile abfallen.

Die coolen Omniwheels ermöglichen es dem Roboter jederzeit in jede Richtung zu fahren. Solche Räder findet man in Robotersets leider viel zu selten! Daher fiel die erste Wahl auch direkt auf das Basismodell mit den neuen Omniwheels. Anschließend habe ich dies mit dem Spursensor und dem Gestensensor erweitert. Neben diesen beiden Modellvarianten sind Anleitungen für weitere sieben Roboter enthalten.

Der Roboter lässt sich entweder mit einem Netzteil oder mit einem Akku-Set betreiben, beides muss leider extra erworben werden.

Die aktuellste Version der für die Programmierung benötigten Software ROBOPro fand ich auf der Homepage von fischertechnik. Nachdem ich den Roboter über die Konfiguration auf dessen Touchscreen mit meinem WLAN verbunden habe (Okay: USB oder Bluetooth wäre auch gegangen, aber der Geek in mir musste direkt WLAN ausprobieren), konnte ich diesen mit der ROBOPro Software verbinden und programmieren. Das für die Cloud Funktionen benötigte Update wurde beim ersten Verbinden mit der ROBOPro Software mir sofort angeboten und ich konnte es problemlos installieren. Mit diesem Update lässt sich der Roboter als IoT Device in die fischertechnik Cloud einbinden und als smartes Gerät mit dem Internet kommunizieren. So kann man zum Beispiel eine Alarmanlage bauen, die einen über das Internet beim Auslösen alarmiert.

Neben der Möglichkeit in der ROBOPro Software grafisch zu programmieren, kann mit einer zusätzlichen frei verfügbaren Software auch in Scratch grafisch programmiert werden. Wer lieber textbasiert programmieren möchte kann dies auch in C. Da das Betriebssystem des Roboters auf Linux basiert, gibt es hier bestimmt noch jede Menge weitere, mir bisher unbekannte, Möglichkeiten den Roboter zu “hacken” und noch mehr Funktionen hinzuzufügen. Das Einloggen auf dem Roboter per SSH ist auf jeden Fall möglich und über den SD-Karten Slot lassen sich alternative Betriebssysteme installieren und der Speicher erweitern.

Mein erster fischertechnik Roboter, genauer der Robotics Smarttech Roboter, hat mir bisher Freude bereitet und ich hatte Spaß daran mal ein mir bisher unbekannte Bausystem auszuprobieren. Mit den “selbstgebauten” Kabeln und den universellen Ei- und Ausgängen am Controller, sowie der Cloud Anbindung, finden sich sicherlich auch tolle Einsatzmöglichkeiten abseits vom Einsatz als Spielzeugroboter.

MAKER LEARN FESTIVAL

FREE E-LEARNING ARRIVES TO YOUR HOME OR OFFICE FROM 8 TO 12 NOVEMBER BY MAKER FAIRE ROME

Over 50 webinars, talks, online and free workshops about all the innovation topics offered by our makers and partners: check out the complete list of webinars and choose the one that suits you the most!

Participating is simple: you just need to register for the event of your choosing and then you will receive an alert just before it starts. All webinars are held on Zoom: make sure you got the app on your device.


MAKER LEARN FESTIVAL: E-LEARNING FOR EVERYBODY

Maker Learn Festival is truly for everyone.

A few examples? If you are a professional, an entrepreneur, a startupper, take look at the webinars dedicated to the world of entrepreneurship with specific focus on digital and robotics, artificial intelligence, digital manufacturing and 3D printing, transition 4.0, PNRR and incentives for SMEs . Eg check the selection for the fabrication topic here.

And that’s not all, an entire section is dedicated to innovation born within the Italian universities and there is no shortage of webinars and specific workshops for students and young people!

“Academic” events: select the “Universities” tag and discover all the workshops and talks organized by some of the most important Italian universities, including the University of Pisa, La Sapienza University of Rome, the University of Studies Roma Tre, the Polytechnic of Bari.

Appointments for students and teenagers: dedicated contents from robotics to experiments to be done in the classroom or at home along with the parents.


And if you want to, you can specifically select the topics of your interest, browse by topics such as art, robotics, artificial intelligence … the offer is very wide!

Come and discover all the innovation you need on the Maker Learn Festival, from 8 to 12 November!

WHAT IS MAKER LEARN FESTIVAL

Maker Learn is the project of Maker Faire Rome and PID Punto Impresa Digitale, for continuous training, a web gateway in which you can find free training opportunities throughout the year covering the most diverse topics. Maker Learn Festival is the natural continuation of Maker Faire Rome, the event that was held from 8 to 10 October. With Maker Learn Festival we celebrate the continuous training by concentrating over 50 different courses in one week. By participating in the Maker Learn Festival, you can experience firsthand the benefits that “life long learning” can offer you.

Fraunhofer IAIS und Dr. Hans Riegel-Stiftung realisieren erste 3D-Simulation zu Roboter-Programmierungen im Open Roberta Lab

Seit rund vier Jahren arbeiten das Fraunhofer-Institut für Intelligente Analyse- und Informations-systeme IAIS und die Dr. Hans Riegel-Stiftung im Rahmen ihrer Projekte »Open Roberta®« und »TouchTomorrow« zusammen, um junge Menschen für Coding & Co. zu begeistern. Das jüngste Ergebnis der Zusammenarbeit ist die erste 3D-Simulation des humanoiden Roboters NAO für die Open-Source-Plattform »Open Roberta Lab«. NAO ist mit Anschaffungskosten von mehreren tausend Euro im Vergleich zu anderen Mikrocontrollern und Hardware-Systemen wie Calliope mini oder LEGO Mindstorms sehr teuer und deshalb in Privathaushalten oder auch in Schulen kaum vertreten. Ab sofort haben Open-Roberta-Fans die Möglichkeit, die anschaulichen Programmiermöglichkeiten des NAO in einer 3D-Simulation auszuprobieren und zu erlernen. Schon jetzt ist das Open Roberta Lab in mehr als 20 Sprachen verfügbar und wird in über 100 Ländern von ca. 500 000 Personen pro Monat genutzt – mit dem 3D-Roboter steigt die Attraktivität der Programmierplattform um ein weiteres Highlight.

Das »Open Roberta Lab« ist eine frei verfügbare grafische Programmierplattform, die das Programmieren lernen leicht macht. Auf der Open-Source-Plattform der Initiative »Roberta® – Lernen mit Robotern« des Fraunhofer IAIS erstellen selbst Neulinge im Handumdrehen erste Programme per »drag and drop«. Die Besonderheit: Im Open Roberta Lab erwachen reale Roboter und Mikrocontroller zum Leben. »Hands-on« erlernen Nachwuchs-Programmiererinnen und -Programmierer die Grundlagen des Codens und entdecken spielerisch die unzähligen Möglichkeiten, die die Welt der Technik und Naturwissenschaften für sie bereithält.

Unter den aktuell 14 Roboter- und Hardware-Systemen, die im Open Roberta Lab programmiert werden können, ist der humanoide Roboter NAO mit seinen 25 Bewegungsgraden, umfangreicher Sensorik und einem Kaufpreis von mehr als 5000 Euro die komplexeste und teuerste Variante. Gleichzeitig ist es natürlich besonders spannend, einen humanoiden Roboter programmieren zu können. Aus diesem Grund haben das Fraunhofer IAIS und Dr. Hans Riegel-Stiftung nun eine erste 3D-Simulation für die Plattform integriert, so dass sich die Nutzer*innen auch ohne teure Hardware die Resultate ihrer Programmierungen in einer detaillierten Simulation anschauen können. Dies soll u. a. zusätzliche Erfolgserlebnisse ermöglichen und damit die Motivation steigern.

Das erste Tutorial mit 3D-Simulation steht ab sofort auf https://lab.open-roberta.org/ zur Verfügung.

Weitere Kooperationen von Fraunhofer IAIS und Dr. Hans Riegel-Stiftung

Begonnen hat die Zusammenarbeit im Rahmen der Entwicklung des »TouchTomorrow-Trucks« der Dr. Hans Riegel-Stiftung, der bundesweit an Schulen fährt, um Schülerinnen und Schüler durch das Erleben und Ausprobieren von Zukunftstechnologien für Bildungs- und Berufswege im MINT-Bereich (Mathematik, Informatik, Naturwissenschaft, Technik) zu begeistern. Eine von acht Themenstationen im Truck befasst sich mit humanoiden Robotern. Schülerinnen und Schüler können dort dank mehrerer vom Fraunhofer IAIS entwickelter Tutorials einen echten NAO-Roboter programmieren. Neben dem Truck sind in den vergangenen Jahren weitere Angebote entstanden: u. a. »TouchTomorrow-Teaching« mit Unterrichtsmaterial und Fortbildungen für Lehrkräfte, »TouchTomorrow-Stream« als Livestream-Dialogformat für Distanz-Lehranlässe wie Covid-19 und das »TouchTomorrow-Lab« im Deutschen Museum Bonn.

Das Deutsche Museum Bonn ist einer von fünf »Open Roberta Coding Hubs« in NRW. Dies sind außerschulische Lernorte, die mit Hardware wie Robotern und Laptops ausgestattet und deren Personal vom Roberta-Team des Fraunhofer IAIS vor Ort zu Roberta-Teachern ausgebildet werden. Das TouchTomorrow-Lab im Deutschen Museum Bonn bietet eine ideale Kulisse für die diversen Workshops in diesem Kontext.

Beate Jost, Technische Leiterin der Roberta-Initiative und Wissenschaftlerin am Fraunhofer IAIS: »Wir freuen uns, dass unsere langjährige Kooperation mit der Dr. Hans Riegel-Stiftung nun in eine neue Phase geht. Mit der neuen NAO-Simulation haben Programmier-Fans und vor allem Schulen ab sofort die Gelegenheit, spannende Experimente mit humanoiden Robotern auszuprobieren, ohne dafür gleich tief in die Geldbörse greifen zu müssen.«

UDOO KEY hits the $10,000 Kickstarter goal in 90 minutes

UDOO KEY, the world’s most flexible AI platform, is a brand-new AI-first solution based on Raspberry Pi RP2040 and ESP32. It enables machine learning applications in the most popular programming languages and libraries, including TinyML, TensorFlow Lite, MicroPython, C, C++ etc. The board, designed for Edge AI projects, marks the fifth crowdfunding campaign by UDOO, which already raised more than 2 million dollars in previous Kickstarter campaigns.

Link to the campaign: key.udoo.org

UDOO KEY combines Raspberry Pi RP2040 and a fully programmable ESP32 into a single powerful piece of hardware. The board comes in two versions: UDOO KEY and UDOO KEY PRO. Both feature Wi-Fi, Bluetooth and BLE; UDOO KEY PRO also features a 9-axis IMU and a digital microphone. The board is fully compatible, both hardware and software-wise, with Raspberry Pi Pico and ESP32.

UDOO KEY also grants access to Clea, the upcoming AI as a service platform by SECO Mind, SECO’s daughter company. Clea is an extensible AI & IoT platform for professional developers, startups, R&D departments and hobbyists. . It allows users to quickly build, monitor and deploy Artificial Intelligence models and apps over a fleet of remote-controlled devices. It comes with a set of pre-built AI models and apps called Clea Apps, all developed by SECO. Last but not least, it’s natively compatible with UDOO KEY, Raspberry Pi as well as Arm and x86 processors. 

Maurizio Caporali, Co-CEO of SECO Mind, said, “Today, AI is very misunderstood. Many AI use cases don’t require a powerful processing unit, and that’s where UDOO KEY comes in. For the first time ever in the world of Edge AI, the user has the option to build an AI project on their terms, using either Raspberry Pi RP2040, ESP32, or both. Several companies we are in touch with find it difficult to take advantage of the AI revolution. UDOO KEY and Clea make this as easy as it gets.”

Shipping will start in January 2022. The Early Bird UDOO KEY is available at $4, while the Early Bird UDOO KEY PRO is available at $9. Both are limited to 1,000 units. 

UDOO has also made available two special kits, built in collaboration with two equally special companies: Arducam and Seeed Studio. 

The first kit, in collaboration with Arducam, is named “Early Bird UDOO KEY PRO Cam Kit + Clea ” and includes 1x UDOO KEY PRO, a 2MB SPI Camera and access to Clea.

The second kit, in collaboration with SeeedStudio, is named “Early Bird UDOO KEY PRO Grove Kit + Clea” and includes 1x UDOO KEY PRO, access to Clea and 14 handpicked Grove Modules, including 5 sensors/ 5 actuators/ 2LED/ 1 LCD display/ 1 Grove shield.

More details on UDOO KEY

The Raspberry Pi Pico-compatible part of UDOO KEY is built upon a Raspberry PI RP2040 dual Arm Cortex-M0, featuring a QSPI 8MB flash memory, 133 MHZ clock, and 264KB of on-chip SRAM.  The ESP32 is based on a dual-core Xtensa 32-bit LX6, with 16 MB flash memory, 8MB PSRAM, Wi-Fi, Bluetooth and Bluetooth Low Energy. The two microcontrollers can talk to each other via serial port and SWD.

The user can program the two microcontrollers in an easy way via a USB-C connector and decide whether to talk with RP2040 or ESP32 via jumper. The UDOO KEY provides many more interfaces: three fully programmable LEDs, and the same pinout of Raspberry Pi Pico, making it 100% compatible with it, both hardware and software-wise. Last but not least, the UEXT connector is accessible from the ESP32, which exposes the I2C, UART and SPI interfaces.

The UDOO KEY also mounts two powerful sensors: a 9-axis IMU and a digital microphone, plus a standard UEXT connector to easily add sensors and other interfaces. Thanks to the on-board ESP32 microcontroller, the UDOO KEY features full Wi-Fi 802.11b/g/n connectivity, Bluetooth and BLE v4.2.  

Link to the Campaign: key.udoo.org

Robotics-Pakete für den Unterricht

fischertechnik bietet verschiedene Robotics-Sets

Mit dem ROBOTICS TXT 4.0 Base Set von fischertechnik lassen sich komplexe Technologien aus dem Alltag im Unterricht spielerisch erlernen. Vier Ergänzungssets ermöglichen darüber hinaus das Eintauchen in die Welt des autonomen Fahrens, in Roboterprogrammierung und in Internet of Things. Mit dem Set „Competition“ lassen sich zudem spannende Aufgaben bei Robotics-Wettbewerben oder -Projekten umsetzen.

Das fischertechnik ROBOTICS TXT 4.0 Base Set ist der perfekte Start, um zu programmieren wie die Profis. Der umfangreiche Baukasten enthält neben der Kamera mit Bildverarbeitung einen Ultraschallsensor, zwei Encodermotoren, einen Spursensor, einen Fototransistor sowie zwei Taster und drei LEDs. Die Modelle können mit der Programmiersoftware ROBO Pro Coding und dem ROBOTICS TXT 4.0 Controller programmiert und gesteuert werden. Einsteiger können auf fertige Beispielprogramme zurückgreifen und in der Blockly-Programmierumgebung ROBO Pro Coding grafisch programmieren, Fortgeschrittene und Profis können darüber hinaus direkt in Python loslegen. Mit der zusätzlichen App fischertechnik Voice Control (Android/ iOS) kann der TXT 4.0 Controller auch über Spracherkennung gesteuert werden. Enthalten sind zwölf spannende Modelle, die von der Fußgängerampel über eine Schranke, einen Barcodescanner bis hin zu mobilen Fahrrobotern mit Encodermotoren, Kamera, Spur- und Abstandssensor reichen. Das umfangreiche Lehrmaterial beinhaltet neben Einführungs- und Basisinformationen 25 Experimente mit Lösungen.



Das fischertechnik ROBOTICS TXT 4.0 Base Set stellt die Basis für den Einsatz im Regelunterricht dar: Controller, Software, Stromversorgung, Aktoren und Sensoren und viele Grundbausteine sind hier enthalten. Das Set wird in einer stabilen Box geliefert, die sich für Einsatz im Regelunterricht sowie auch für Projektarbeiten bestens eignet. Die separat erhältlichen vier Add On Sets erweitern das TXT 4.0 Base Set um ihren jeweiligen Schwerpunkt und können übersichtlich in der unteren, dafür vorgesehenen Wanne integriert werden.

Die Add On-Erweiterungssets umfassen spezifische Hightech-Themen wie autonomes Fahren, Omniwheels und IoT (Internet of Things) sowie Robotics-Wettbewerbe. Damit können attraktive Modelle wie ein autonom fahrendes Auto, ein Fußballroboter oder eine Sensorstation mit beweglicher Kamera zur Messung von Temperatur, Luftfeuchtigkeit, Luftdruck, Luftqualität und Helligkeit konstruiert werden. 

Mit dem ROBOTICS Add On Autonomous Driving lässt sich das Auto der Zukunft selbst bauen und programmieren. Es bietet die Möglichkeit, zusammen mit dem ROBOTICS TXT 4.0 Base Set viele spannende Techniken zu entdecken: Von der Lichtautomatik über einen Spurhalteassistenten, vom Tempomat bis zur Einparkautomatik – das Modell garantiert begeisterte Augen im Unterricht. Der Baukasten enthält neben einem Differenzialgetriebe zwei zusätzliche Räder, LEDs sowie einen Servo-Motor für die Lenkung. Das Add On Autonomous Driving wird durch das Lehrmaterial, das Aufgaben und Experimente mit zugehörigen Lösungen enthält, abgerundet.

Das Add On Omniwheels ermöglicht zusammen mit dem ROBOTICS TXT 4.0 Base Set das Konstruieren verschiedener Modelle mit Allseitenantrieb: Fahrroboter mit verschiedenen Aufgabenstellungen, zum Beispiel ein Fußballroboter, ein Ballwurfroboter, der Zielscheiben erkennt und präzise trifft und ein Malroboter mit Stift, der abgesenkt und angehoben werden kann. Das Highlight des Baukastens sind die Omniwheels, die von vier Encodermotoren angetrieben werden und so eine Bewegung in verschiedene Richtungen ermöglichen. Die im TXT 4.0 Base Set enthaltene Kamera ermöglicht Bildverarbeitung, durch die beispielsweise der Fußballroboter einen Ball erkennen, ihm folgen und Tore schießen kann.

Einen professionellen Einstieg in die Messwerterfassung bietet das Ergänzungsset ROBOTICS Add On IoT. Zusammen mit den Robotics TXT 4.0 Base Set ermöglicht die Sensorstation die Messung von Temperatur, Luftfeuchtigkeit, Luftdruck, Luftqualität und Helligkeit. Die Sensorstation kann mit der Programmiersoftware ROBO Pro Coding und dem ROBOTICS TXT 4.0 Controller programmiert und gesteuert werden und ist ideal, um Themen wie Messwerterfassung und -übertragung sowie das Steuern und Regeln von Aktoren und Sensoren zu vermitteln. Die Messwerterfassung erfolgt über die Verbindung des TXT 4.0 Controllers mit der fischertechnik-Cloud, in der die Sensordaten gespeichert, gesammelt und grafisch dargestellt werden. Über die Bedienoberfläche, dem sogenannten Dashboard, werden die verschiedenen Sensordaten permanent (in Echtzeit) erfasst und die in zwei Achsen schwenkbare Kamera ferngesteuert. Das Lehrmaterial des Add On IoT enthält sechs Experimente mit dazugehörigen Lösungen.



Das ROBOTICS Add On Competition wurde für Schulen, Universitäten und alle Bildungseinrichtungen entwickelt, die ihre Modelle für Robotics-Wettbewerbe für ihre Schüler und Studenten weiterentwickeln oder verbessern möchten. Mit diesem Set lassen sich Modelle tunen und um neue Features erweitern, was diesen Baukasten zur perfekten Ergänzung für Wettbewerbe auf der ganzen Welt macht. Das Set enthält den neuen RGB-Gestensensor, einen Kombisensor (Gyroskop, Beschleunigung und Kompass), einen Ultraschallsensor, zwei stärkere Encodermotoren sowie Kettenglieder und Rastraupenbeläge für das Fahrgestell eines Raupenroboters – ideal für den Bau wettbewerbsfähiger Fahrroboter.

A brickobotik tinker project: the SPIKE breakout board

Guest Post by brickobotik:

LEGO Education ‘s SPIKETM Prime is available on the market for more than one year by now. In our big test series, we presented in to you in detail. The Inventor 51515 which is the SPIKETM ‘s home version, can also be bought by now. The software of both robots has reached a decent level. Earlier this year, we published our own e-book for the SPIKETM Prime Software that can be a helpful resource for everybody who still has questions about programming this robot. For people who like paperbacks more than digital e-books, we also sell it as a print-on-demand paperback on amazon.

At brickobotik, we nevertheless continue to work with the SPIKETM Prime. On the one hand, we use it in our workshops and teacher-trainings. On the other hand, we are also interested in the electro-technics of the SPIKETM Prime. Therefore, we give you a little insight in our “briokobotik craft corner” and present a little project on which we currently work.

An adapter board for the ultrasonic sensor

Many of you probably noticed the two Torx screws on the back of the ultrasonic sensor in the SPIKETM Prime and the Mindstorms Inventor set which you can ‘t find on the other sensors. If you unscrew these two screws, you can remove the white ultrasonic sensor device so that only the black shell remains in your hand. Here, the cable of the LEGO Powered Up connector ends up in a female header. This 8-pin female header has a pitch of 1.27 mm which cannot be accessed easily with conventional Arduino cables. That is why we decided to develop an adapter that breaks out the 1.27 mm pitch to 2.54 mm which is the conventional dimension of the Arduino, perfboards, breadboards etc.

Technical details about the breakout board

There are six signals within the Power Functions 2.0 connection:

1x 3.3 V power supply
1x GND

 2x digital in-/output (GPIO), which can also be used for UART (115200 Baud, 8N1) Please note: The GPIOs do not supply enough current to operate the LEDs directly! A transistor circuit is necessary to supply an LED from the 3.3 V rail.

 2x PWM for the motors

Please note: The voltage of these signals is supplied directly by the SPIKE ‘s battery! Aocording to our measurements it is between 8.4 V and 6.3 V.

Each GPIO signal is provided with a resistor in series that provides a minimal protection against wrong GPIO configurations. They can easily be bypassed with a solder bridge.

On the left and right side, the same signals are spread out. On one side, you find the two GPIOs together with the power rails and on the other side, you find the PWM signals with the power rails. The signal lines to the left and right do not only fan out to contacts of

2.54 mm pitch but also to contacts of 2.00 mm pitch for the Grove connector system.

The respective 3.3 V power supply lines are by default open solder bridges. In this way, two independent power supplies will not compete destructively if for example a Calliope mini or other microcontroller is used. The open solder bridges can be closed with a bit of solder if required.

New possibilities with the breakout board

With our breakout board, connecting and using other sensors and motors with the SPIKETM Prime becomes much easier. It also opens the possibility of connecting the SPIKETM to a microcontroller like the Calliope mini. But you should note one important constraint: projeots like these are primarily suitable for advanced users. The wiring as well as the programming needs experience with the electronics and the respective sensor protocols.

Technical details about the control

The Powered Up signals are directly controllable via the SPIKETM Prime app but only using Python projects and on one’s own account. There is no “UltrasonicBreakout” Python module or something similar by LEGOO . Nevertheless, descriptions and instructions for the respective MicroPython classes and methods can be found in the internet. People with experience with other MicroPython devices, especially with operating the MioroPython REPL, can quickly familiarize with the necessary details.

Order your own adapter board!

At briokobotik, we are going to continue to work with the adapter board and test its conneotion to different sensors. But we would also like to give the possibility of experimenting with connections to the SPIKETM Prime to all other home constructors and electro-technios enthusiasts who like to try it themselves. So, if you are interested in this adapter board and would like to purchase it, just send us an email to [email protected]. We will collect all requests and if there are enough people interested, we will inform you via email about the possibility of preordering the adapter board.

You don ‘t want to tinker but you are interested in a certain sensor that could be conneoted to the SPIKETM Prime? Visit our website at www.briokobotik.de and leave a oomment or a message with your requests for future projects and we will try to take them into account.

Better gripping with intelligent picking robots

Researchers from Germany and Canada work on new AI methods for picking robots.

 ISLANDIA, NY, July 7, 2021 — Production, warehouse, shipping – where goods are produced, stored, sorted or packed, picking also takes place. This means that several individual goods are removed from storage units such as boxes or cartons and reassembled. With the FLAIROP (Federated Learning for Robot Picking) project Festo and researchers from the Karlsruhe Institute of Technology (KIT), together with partners from Canada, want to make picking robots smarter using distributed AI methods. To do this, they are investigating how to use training data from multiple stations, from multiple plants, or even companies without requiring participants to hand over sensitive company data. 

“We are investigating how the most versatile training data possible from multiple locations can be used to develop more robust and efficient solutions using artificial intelligence algorithms than with data from just one robot,” says Jonathan Auberle from the Institute of Material Handling and Logistics (IFL) at KIT. In the process, items are further processed by autonomous robots at several picking stations by means of gripping and transferring. At the various stations, the robots are trained with very different articles. At the end, they should be able to grasp articles from other stations that they have not yet learned about. “Through the approach of federated learning, we balance data diversity and data security in an industrial environment,” says the expert.

Powerful algorithms for industry and logistics 4.0

Until now, federated learning has been used predominantly in the medical sector for image analysis, where the protection of patient data is a particularly high priority. Consequently, there is no exchange of training data such as images or grasp points for training the artificial neural network. Only pieces of stored knowledge – the local weights of the neural network that tell how strongly one neuron is connected to another – are transferred to a central server. There, the weights from all stations are collected and optimized using various criteria. Then the improved version is played back to the local stations and the process repeats. The goal is to develop new, more powerful algorithms for the robust use of artificial intelligence for industry and Logistics 4.0 while complying with data protection guidelines.

“In the FLAIROP research project, we are developing new ways for robots to learn from each other without sharing sensitive data and company secrets. This brings two major benefits: we protect our customers’ data, and we gain speed because the robots can take over many tasks more quickly. In this way, the collaborative robots can, for example, support production workers with repetitive, heavy, and tiring tasks”, explains Jan Seyler, Head of Advanced Develop. Analytics and Control at Festo SE & Co. KG During the project, a total of four autonomous picking stations will be set up for training the robots: Two at the KIT Institute for Material Handling and Logistics (IFL) and two at the Festo SE company based in Esslingen am Neckar.

Start-up DarwinAI and University of Waterloo from Canada are further partners

“DarwinAI is thrilled to provide our Explainable (XAI) platform to the FLAIROP project and pleased to work with such esteemed Canadian and German academic organizations and our industry partner, Festo. We hope that our XAI technology will enable high-value human-in-the-loop processes for this exciting project, which represents an important facet of our offering alongside our novel approach to Federated Learning.  Having our roots in academic research, we are enthusiastic about this collaboration and the industrial benefits of our new approach for a range of manufacturing customers”, says Sheldon Fernandez, CEO, DarwinAI.

“The University of Waterloo is ecstatic to be working with Karlsruhe Institute of Technology and a global industrial automation leader like Festo to bring the next generation of trustworthy artificial intelligence to manufacturing.  By harnessing DarwinAI’s Explainable AI (XAI) and Federated Learning, we can enable AI solutions to help support factory workers in their daily production tasks to maximize efficiency, productivity, and safety”, says Dr. Alexander Wong, Co-director of the Vision and Image Processing Research Group, University of Waterloo, and Chief Scientist at DarwinAI.

About FLAIROP

The FLAIROP (Federated Learning for Robot Picking) project is a partnership between Canadian and German organizations. The Canadian project partners focus on object recognition through Deep Learning, Explainable AI, and optimization, while the German partners contribute their expertise in robotics, autonomous grasping through Deep Learning, and data security.

  • KIT-IFL: consortium leadership, development grasp determination, development automatic learning data generation.
  • KIT-AIFB: Development of Federated Learning Framework
  • Festo SE & Co. KG: development of picking stations, piloting in real warehouse logistics
  • University of Waterloo (Canada): Development object recognition
  • Darwin AI (Canada): Local and Global Network Optimization, Automated Generation of Network Structures

Visit www.festo.com/us for more information on Festo products and services.

About Festo

Festo is a leading manufacturer of pneumatic and electromechanical systems, components, and controls for process and industrial automation. For more than 40 years, Festo Corporation has continuously elevated the state of manufacturing with innovations and optimized motion control solutions that deliver higher performing, more profitable automated manufacturing and processing equipment.

Connect with Festo: Facebook, LinkedIn, Twitter and YouTube

SourceRabbit released a commercial GCode Sender for GRBL CNC Machines

GRBL is quite popular with the CNC hobby community, open source firmware that turns an Arduino into a CNC controller. It was released in 2015 and in recent years has gained many friends, among them SourceRabbit, a Greek CNC machine tool manufacturer, which aspires to transform GRBL from a hobby tool to an industry standard by offering the first commercial CNC control software for GRBL-compatible CNC machines.

Their new commercial software, GCode Sender 4-Axis, released in April 2021, replaced their old 3-axis software which has been available since 2015. It is compatible with the classic 3-Axis GRBL for AVR processors and the new multi axis Grbl for the Esp32.

We managed to obtain a statement from Nikos Siatras, CEO of SourceRabbit, who told us “From 2015 until the beginning of 2021, many GCode Sender applications were developed to control GRBL CNC machine tools. All of them were open source, free of charge, without any support and often with several bugs that tire even the most patient user. While GRBL is an incredibly good and flexible CNC control firmware, the GCode Senders that existed until today gave the impression that GRBL is purely for hobbyists. Through the development of our own software we are going to change that and we will try to make GRBL a CNC industry standard.”

SourceRabbit plans to implement many new tools and features to the GCode Sender 4-Axis. The software retails for €50.00 + VAT and with the purchase of each license you have free access to all subsequent versions of the software.

Wandelbots – No-Code Robotics – – Kurzinterview

Sebastian von Robots-Blog konnte ein kurzes Interview mit Annelie Harz von Wandelbots führen. Erfahrt im Interview was Wandelbots ist und warum demnächst vielleicht das Programmieren überflüssig wird.

Robots-Blog: Wer bist du und was ist deine Aufgabe bei Wandelbots?

Annelie: Mein Name ist Annelie und ich arbeite als Marketing Managerin bei Wandelbots.

Robots-Blog: Welcher Roboter aus Wissenschaft, Film oder Fernsehen ist dein Lieblingsroboter?

Annelie: Tatsächlich Wall-E. Ein kleiner Roboter, der Gutes tut und einfach nur liebenswert ist.

Robots-Blog: Was ist Wandelbots und woher kommt der Name?

Annelie: Der Name beschreibt den WANDEL der RoBOTik. Denn das ist genau das, was wir tun. Den Umgang mit Robotern, der heute nur einem kleinem Kreis von Experten vorbehalten ist, ermöglichen wir jedem. Unsere langfristige Firmenvision lautet: “Every robot in every company and every home runs on Wandelbots”. Und das verspricht einen großen Wandel in verschiedensten Ebenen – angefangen für uns bei der Industrie.

Robots-Blog: An wen richtet sich euer Produkt und was brauche ich dafür?

Annelie: Unser Produkt richtet sich derzeit an Kunden aus der Industrie. Hierbei kann unsere Software – Wandelbots Teaching – bei der Programmierung verschiedenster Applikationen wie z.B. Schweißen oder Kleben helfen ohne, dass man eine Zeile Code schreiben muss. Sie ist so einfach und intuitiv designed, dass wirklich jeder mit ihr arbeiten kann, um einem Roboter ein gewünschtes Ergebnis beizubringen. Dies funktioniert durch das Zusammenspiel einer App und eines Eingabegerätes, dem TracePen. Dieser hat die Form eines großen Stiftes, mit dem Nutzende dem Roboter am Bauteil beispielhaft einen gewünschten Pfad vorzeichnen können. Aber auch mit Bildungsträgern arbeiten wir zusammen. Sie sind es, die die nächste Generation von Roboterexperten ausbilden. Da darf unser Produkt natürlich nicht fehlen (Annelie grinst) Und langfristig sind wir – das steckt ja schon in unserer Vision – davon überzeugt, dass Roboter auch als kleine Helfer im Privatleben Einzug halten werden.

Robots-Blog: Welches Feature ist besonders erwähnenswert?/Was kann kein anderer?

Annelie: Unser Produkt arbeitet roboterhersteller-unabhängig. In der Robotik hat jeder Hersteller über die Jahre seine eigene proprietäre Programmiersprache entwickelt. Das macht die Kommunikation zwischen Mensch und Maschinen sehr schwierig. Wir wollen hingegen ein Tool schaffen, mit dem jeder Mensch mit jedem Roboter arbeiten kann – ganz unabhängig von Programmiersprache und Hersteller. Robotik soll dem Anwender unseres Produktes Spaß machen. Dank der hohen Usability und der Bedienung unserer App via iPad ist das heute schon möglich. Und über die nächste Zeit kommen applikationsspezifische Editionen in unsere Plattform – aktuell arbeiten wir beispielsweise an einer Appversion für das Roboterschweißen.

Robots-Blog: Muss ich dann überhaupt noch Programmieren lernen?

Annelie: Nein. Wie eben erklärt muss man mit dieser sogenannten No-Code Technologie nicht mehr programmieren lernen. Es ist einfach, intuitiv und nutzerfreundlich, selbst für Laien. Selbstverständlich muss man aber, vor allem aus Sicherheitsgründen, immer ein gewisses Grundverständnis über Robotik verfügen. Die Gefährdungen durch Roboter sollte man nie unterschätzen, deswegen arbeitet unser Produkt immer nach den jeweiligen herstellerspezifischen Sicherheitsvorgaben.

Robots-Blog: Welche Roboter werden unterstützt? Ich habe einen Rotrics DexArm und einen igus Robolink DP-5; kann ich diese auch verwenden?

Annelie: Wir wollen kurz nach dem Markteintritt natürlich erst einmal die Robotik in der Industrie, beispielsweise der Automobilbranche, flexibler und einfacher machen. Dafür integrieren wir die größten Robotermarken nach und nach in unsere Plattform. Kleinere Robotermarken, die eine oder mehrere Nischen abdecken, werden wir mit Sicherheit auch noch integrieren. Oder – noch besser – dank unseres Software Development Kits für die Roboterintegration können das Roboterhersteller demnächst sogar selbst.

Robots-Blog: Was kostet euer Produkt?

Annelie: Unser Produkt wird über ein Lizenzmodell als Subscription angeboten, wie es im Software as a Service Business üblich ist oder auch klassisch zum Kauf. Die aktuellen Preise für die unterschiedlichen Editionen könnt Ihr auf unserer Website finden (und dort bestimmt noch spannende weitere Inhalte finden)