Miika K.I. von KOSMOS: Ein Roboter zum Verstehen und Erleben von Künstlicher Intelligenz

Miika K.I. ist ein innovativer Roboter und Experimentierkasten von Kosmos, der Kindern ab 10 Jahren einen spielerischen Zugang zu den Themen Robotik und künstliche Intelligenz ermöglicht. Dieser Roboter ist mit echter künstlicher Intelligenz ausgestattet, die von den Kindern selbst trainiert und gesteuert wird. So wird das Training einer künstlichen Intelligenz verständlich erklärt und nachvollzogen.

Miika K.I. kann durch Gesten oder Audiobefehle trainiert und gesteuert werden, ganz einfach mit einer App. Zur Nutzung der App, wird lediglich ein Smartphone oder Tablet benötigt. Um Miika K.I. für Kinder zwischen 10 und 14 Jahren zu einem sicheren Spielzeug zu machen, funktioniert die App rein lokal ohne Internet, sie speichert weder Bild- noch Audiodateien und leitet auch keine Daten an einen Server.

Beispielsweise kann Miika beigebracht werden, auf ein Schnipsen oder das Zeigen eines „Daumen hoch“ mit einer Drehung zu reagieren. Die Kreativität der Kinder sind beim Umgang mit Miikas künstlicher Intelligenz keine Grenzen gesetzt. Es lassen sich zwei Arten von KI trainieren; eine Version, die auf das Kamerabild des Smartphones oder Tablets reagiert oder eine Version, die auf wahrgenommene Geräusche reagiert.


Der Roboter verfügt über ein LED-Display, auf dem Texte, Symbole und Gesichter dargestellt werden können. Miika kann sich bewegen, blinken und Töne von sich geben. Die Steuerung erfolgt über eine App, die offline arbeitet, um den Datenschutz zu gewährleisten.
Miika K.I. bietet den Kindern die Möglichkeit, die Technik der Zukunft spielerisch zu erleben und technologisches Verständnis zu vermitteln. Der Experimentierkasten wurde mit dem Toy Award 2023 ausgezeichnet.

Zum Lieferumfang gehören Bauteile zum Zusammenbau des Roboters, eine Bluetooth-fähige Platine mit LED-Display, zwei Motoren und eine Anleitung. Für den Betrieb werden vier 1,5-Volt-Batterien vom Typ LR03 (AAA, Micro) benötigt. Der Roboter hat die Abmessungen 425 x 265 x 79 mm und wiegt 766 Gramm.
Miika K.I. ist ein spannendes und lehrreiches Spielzeug, das Kindern die Möglichkeit bietet, die Möglichkeiten und Grenzen der künstlichen Intelligenz kennenzulernen und zu verstehen.

ABot Advanced by Avishkaar

The Avishkaar ABot Advanced Kit is a comprehensive DIY kit for STEM robotics and coding designed specifically for children aged 8 and up. It contains over 60 parts, including metal parts, motors, sensors, wheels, USB cables, screws, nuts, an Allen wrench, and a wrench. With these parts, children can build 10 different robots, from simple vehicles to more complex constructions The set reminded me of the mBot when I set it up, as it was also based on a sturdy metal construction. The included stickers and the tool are nice. The instructions were easy to understand and I didn’t find any errors or had any problems assembling. The app for remote control and programming must be activated with the product code and the user must be registered before using it for the first time. When deploying, e.g. in the classroom, you should have done this in advance. By the way, the 9V block battery visible in the video is not included when purchased from a dealer, but a full-fledged battery pack. I only use the 9V battery because of delivery problems. Overall, however, it is interesting that the robot makes this possible at all. I’m playing with the idea of connecting a solar cell here and operating the robot with solar energy…like a real Mars rover…

Here is more detailed information:

  • Easy to build programmable robots: With this kit, kids can create 10 different robots with over 60 pieces. This includes metal parts, an easily programmable brain, motors, sensors (2x light sensor, 1x touch sensor/button), wheels, USB cables, screws, nuts, an Allen key, a wrench, cables, and instructions.
  • Control via mobile app: The robots can be controlled via a remote control app. They can also be programmed using a visual block-based programming environment (similar to Scratch/Blockly).
  • Learning Objectives: With the ABot Advanced Kit, children learn robotics, programming, construction, mechanical design and problem solving.
  • Compatibility: The mobile app is compatible with iOS 11 or later and Android 10 or later.
  • Inexpensive Kit: The ABot Advanced Kit offers a sturdy metal frame to which motors and sensors can be attached. For the equivalent of about 60€, the set offers good value for money. Maybe the set will soon be available at a German retailer.

You can find a comprehensive assembly video of one of the 10 robot models here:

The set is available here: https://shop.avishkaar.cc/products/abot-advanced

ABot Advanced by Avishkaar

Das Avishkaar ABot Advanced Kit ist ein umfassendes DIY-Set für STEM-Robotik und Codierung, das speziell für Kinder ab 8 Jahren entwickelt wurde. Es enthält über 60 Teile, darunter Metallteile, Motoren, Sensoren, Räder, USB-Kabel, Schrauben, Muttern, ein Inbusschlüssel und ein Schraubenschlüssel. Mit diesen Teilen können Kinder 10 verschiedene Roboter bauen, von einfachen Fahrzeugen bis hin zu komplexeren Konstruktionen Das Set erinnerte mich beim Aufbau an den mBot, da auch hier eine stabile Metallkonstruktion als Grundlage diente. Nett sind die mitgelieferten Sticker und das Werkzeug. Die Anleitung war einfach zu verstehen und ich fand keine Fehler oder hatte Probleme beim Zusammenbau. Die App zur Fernsteuerung und Programmierung muss vor der ersten Verwendung mit dem Produktcode aktiviert und der Benutzer registriert werden. Beim Einsatz, z.B. im Klassenzimmer, sollte man dies vorab schon erledigt haben. Die im Video sichtbare 9V Blockbatterie ist übrigens beim Kauf über einen Händler nicht dabei, sondern ein vollwertiges Akkupack. Ich verwende die 9V Batterie nur wegen Lieferschwierigkeiten. Insgesamt aber schon interessant, dass der Roboter dies überhaupt ermöglicht. Ich spiele direkt mit dem Gedanken hier eine Solarzelle anzuschließen und den Roboter mit Sonnenenergie zu betreiben…wie so ein richtiger Marsrover…

Hier sind weitere detaillierte Informationen:

  • Einfach zu bauende programmierbare Roboter: Mit diesem Kit können Kinder 10 verschiedene Roboter mit über 60 Teilen erstellen. Dazu gehören Metallteile, ein leicht programmierbares Gehirn, Motoren, Sensoren (2x Lichtsensor, 1x Berührungssensor/Taster), Räder, USB-Kabel, Schrauben, Muttern, ein Inbusschlüssel, ein Schraubenschlüssel, Kabel und eine Anleitung.
  • Steuerung über mobile App: Die Roboter können über eine Fernbedienungs-App gesteuert werden. Außerdem können sie mithilfe einer visuellen blockbasierten Programmierumgebung (ähnlich Scratch/Blockly) programmiert werden.
  • Lernziele: Mit dem ABot Advanced Kit lernen Kinder Robotik, Programmierung, Konstruktion, mechanisches Design und Problemlösung.
  • Kompatibilität: Die mobile App ist mit iOS 11 oder höher und Android 10 oder höher kompatibel.
  • Preiswertes Kit: Das ABot Advanced Kit bietet einen stabilen Metallrahmen an dem Motoren und Sensoren angebracht werden können. Für umgerechnet ca. 60€ bietet das Set ein gutes Preis-Leistungsverhältnis. Vielleicht findet sich das Set ja auch bald bei einem deutschen Händler.

Ein umfassendes Aufbauvideos eines der 10 Robotermodelle findet ihr hier:

Das Set ist u.a. hier erhältlich: https://shop.avishkaar.cc/products/abot-advanced

Austauschplattform zu Robotern im Alltag

Karlsruhe, 18.06.2024 – Bei einem vom Bundesministerium für Bildung und Forschung (BMBF) ausgerichteten Vernetzungstreffen des Transferzentrums Roboter im Alltag (RimA) am 17. Juni 2024 in Berlin wurde ein Onlineforum mit dazugehöriger Wissensplattform präsentiert, um eine gezielte Auseinandersetzung mit Robotern im Alltag zu ermöglichen und die Bildung einer Community zu fördern. Das vom BMBF mit rund 2,25 Millionen Euro über einen Zeitraum von zirka drei Jahren geförderte Projekt widmet sich der Interaktion zwischen Menschen und Robotern.

Roboter halten Einzug in unseren Alltag, in Form von Staubsaugern in der Wohnung, als Bedienung im Restaurant oder Reinigungsroboter im Bahnhof. Dabei ist den meisten Menschen nicht klar, ob sie – sowohl technisch als auch mental – darauf vorbereitet sind. Denn wie interagiert man eigentlich mit einem fremden Roboter?

Bild: FZI Forschungszentrum Informatik

Community-Building als Weg zu mehr Akzeptanz für Robotik im Alltag

Das RimA-Konsortium, bestehend aus den Projektpartnern FZI Forschungszentrum Informatik, Rheinische Friedrich-Wilhelms-Universität Bonn, Freie Universität Berlin und TÜV SÜD GmbH hat zum Ziel, eine Community aufzubauen, die den Austausch genau zu diesem Thema ermöglicht. So sollen gleichermaßen Forschung und Entwicklung gefördert, aber auch der Stand der Technik transparent gemacht werden. „Am Ende sollen in der RimA-Community Forschende, Industrieakteure und Endanwender gleichermaßen eine Anlaufstelle für ihre Anliegen finden”, stellt FZI-Abteilungsleiter und RimA-Koordinator Tristan Schnell das Projekt vor. Über zahlreiche Maßnahmen wie Workshops und Schulungen, Benchmarking-Events und -Labore, Robotik-Wettbewerbe, ein Online-Forum und eine Wissensplattform sollen Grundlagen geschaffen werden, um Alltagsrobotik zugänglicher zu machen. Schnell: „Die Wissensplattform bietet uns die Möglichkeit, Informationen zum aktuellen Stand der Dinge zielgruppengerecht aufzubereiten und öffentlich zur Verfügung zu stellen.” Dabei geht es neben Informationen zur Mensch-Roboter-Interaktion und existierenden Robotikprodukten auch um Aspekte wie zum Beispiel Möglichkeiten des Einsatzes von Open Source Software, regulatorische Rahmenbedingungen für die Sicherheit, Tools für die Entwicklung eines Geschäftsmodells und die Evaluation von Vergleichskriterien.

Transfer von Forschungsergebnissen zu intuitiven Interaktionsformen

Mit dem Forum erhalten somit alle Interessierten die Möglichkeit, sich zu Themen rund um Robotik in unterschiedlichen Anwendungsbereichen anonym und ergebnisoffen auszutauschen. Aber auch die Kommunikation zwischen Start-ups, den vom BMBF geförderten RA3-Kompetenzzentren und anderen unabhängigen Projekten stehen im Mittelpunkt des Interesses. Ziel des Transferzentrums ist, ein nachhaltiger Anlaufpunkt für die Einordnung des Standes und der Weiterentwicklung von Robotik-Komponenten, -Anwendungen und -Services sowie den Austausch darüber zu sein.

Über die RA3-Fördermaßnahme

Grundlage für die Fördermaßnahme ist das BMBF-Forschungsprogramm zur Mensch-Technik-Interaktion (MTI) „Technik zum Menschen bringen“ im Themenfeld „Digitale Gesellschaft“. Im Rahmen des Vorhabens gilt es, innovative Forschungs- und Entwicklungsvorhaben der Mensch-Technik-Interaktion zu fördern, Assistenzroboter in praxisnahen Anwendungsszenarien umfassend zu erproben und damit einen Beitrag zum künftigen Transfer von Assistenzrobotik in konkrete Einsatzfelder zu leisten.

Zukunftsfähige Lösungen müssen sowohl das individuelle Interaktionsverhalten als auch das Umfeld und technologische Möglichkeiten beachten und sich an gesellschaftlichen Anforderungen an eine „interaktive Assistenzrobotik“ messen lassen. Dadurch sollen flexible und leistungsfähige Lösungen für eine optimale Interaktion von Menschen mit Robotern entwickelt werden. So wird das gesamte Spektrum von Mensch-Roboter-Interaktionen (MRI) für jede Alltagssituation adressiert.

Der Förderschwerpunkt „Roboter für Assistenzfunktionen“ ist vom BMBF als dreiteilige Bekanntmachungsreihe angelegt. In der bereits abgeschlossenen Stufe 1 drehten sich die Projekte um interaktive Grundfertigkeiten. Bei der zweiten Bekanntmachung der Reihe (RA2) ging es um „Interaktionsstrategien“. Aus der dritten BMBF-Bekanntmachung „Roboter für Assistenzfunktionen: Interaktion in der Praxis“ (RA3) werden nun die Zentren für Assistenzrobotik in definierten Anwendungsdomänen zur praxisnahen Erprobung gefördert – die sogenannten RA3-Kompetenzzentren rokit, RuhrBots und ZEN-MRI – sowie das Transferzentrum RimA.

Weiterführende Informationen zum Projekt finden Sie unter RimA – FZI Forschungszentrum Informatik oder www.roboter-im-alltag.org

Große Unternehmen holen bei DIY-Automatisierung auf 

Montreal/Berlin, 5. Juni 2024. Das Technologieunternehmen Vention hat in einer  Studie analysiert, wie Unternehmen ihre Produktion selbstständig automatisieren.  Kleine Unternehmen sind Trendsetter in der Do-it-yourself (DIY)-Automatisierung,  doch große Unternehmen holen auf. Die Studie basiert auf anonymisierten Daten von  weltweit über 1.400 Firmennutzern der Manufacturing Automation Platform (MAP) von  Vention. 

Zum zweiten Mal veröffentlicht Vention die jährliche Studie „The State of DIY Industrial  Automation“. Der Fokus liegt auf der Do-it-yourself (DIY)-Automatisierung, die es Herstellern  unterschiedlicher Größe ermöglicht, ihre Produktion mithilfe modernster Technologien selbstständig zu automatisieren.  

Für die Studie hat Vention das Nutzerverhalten seiner Firmenkunden auf der Vention Cloud Plattform MAP von Januar bis Dezember 2023 ausgewertet. Ziel war es, den aktuellen Stand  der DIY-Automatisierung in Unternehmen zu erfassen und zu erläutern, wie sie den DIY Ansatz für die Konzeption, Integration und den Betrieb von Automatisierungskomponenten, wie z.B. Roboterzellen oder Cobot-Palettierern, nutzen.  

„Der Trend zur DIY-Automatisierung setzt sich in diesem Jahr fort“, sagt Etienne Lacroix,  CEO von Vention. „Ein Treiber ist der Fachkräftemangel, der sich zunehmend bemerkbar  macht. Die Frage, wie die Produktion schnell und kostengünstig automatisiert werden kann,  beschäftigt aktuell viele Unternehmen. Wir sehen, dass insbesondere kleine Unternehmen  selbstständig automatisieren. Doch im Vergleich zum letzten Jahr steigt die Zahl der großen  Unternehmen, die DIY-Automatisierung einsetzen, deutlich.“ 

Die wichtigsten Erkenntnisse der Studie:  

1. Kleine („Small“, < 200 Mitarbeiter (MA)) und mittlere Unternehmen („Medium“, < 2.000  MA) waren im Jahr 2023 mit einem Anteil von 48 % bzw. 17 % die führenden Nutzer von  Automatisierungssystemen auf MAP. Allerdings sahen sich kleine Unternehmen im Jahr 2023 mit schwierigeren wirtschaftlichen Bedingungen konfrontiert. Infolgedessen kam es in  diesem Segment zu einem Rückgang von 12 % im Vergleich zum Vorjahr (s. Studie, S. 8). 

2. Große Unternehmen („Large“, < 10.000 MA) sowie der akademische und staatliche  Forschungssektor („Academia & Gov Research“) haben bei der Nutzung des DIY-Ansatzes  auf MAP deutlich zugelegt (+ 10 % bzw. + 4 %). Die Plattformtechnologie machte im  vergangenen Jahr erhebliche Fortschritte und bietet dadurch mehr Möglichkeiten für  Hochdurchsatzprojekte, die herkömmlicherweise mit größeren Herstellern bzw. Nutzern  verbunden sind (s. Studie, S. 8). 

3. Im Jahr 2023 haben sehr große Unternehmen („Enterprise“, > 10.000 MA) den DIY-Ansatz häufiger in ihren Fabrikhallen genutzt als jeder andere Sektor. Entsprechend ist die Anzahl  der mit MAP realisierten Projekte in diesem Segment gestiegen – von durchschnittlich 4,1 im  Jahr 2022 auf 4,9 Projekte im Jahr 2023 (s. Studie, S. 11).

4. Projekte mit Maschinenbedienungsanwendungen wurden im Jahr 2023 auf MAP am  schnellsten realisiert. Dies ist wahrscheinlich darauf zurückzuführen, dass es angesichts des anhaltenden Arbeitskräftemangels für die Unternehmen schwierig ist, Personal zu rekrutieren. Da die CNC-Integration durch die jüngsten Innovationen leichter zugänglich  geworden ist, sind Hersteller mehr denn je bestrebt, schnell automatisierte  Maschinenbedienungsanwendungen einzuführen (s. Studie, S. 24).  

5. Nach zwei Jahren mit Rekordverkäufen (2021 und 2022) meldete die Association for  Advancing Automation (A3) für 2023 einen deutlichen Rückgang der Roboterverkäufe in  Nordamerika um 30 %. Demgegenüber verzeichneten die Robotereinsätze auf MAP sowohl  2022 als auch 2023 einen bemerkenswerten Anstieg. Im Jahr 2023 wuchsen die  Robotereinsätze auf MAP um etwa 40 % (s. Studie, S. 26). 

Die vollständige Studie in Englisch finden Sie hier

At The Bleeding Edge Of Robotics: 2 Year Milestone For pib

2 years ago, the open source robotics project pib was launched. The goal of pib, the printable intelligent bot anyone can build themselves, is to lower the barriers and make robotics and AI accessible to anyone who is interested. Over the past two years, pib has built an active and dedicated community that supports the project in moving forward. Therefore, a lot has happened since the project launch – time to look back on how far pib has come.

Milestones, Challenges and What Comes Next

It’s not every day that a robot turns two years old, so the team celebrated with a big party. The all new pib documentary was streamed to kick off the event, followed by different stations for guests to experience pib’s newest features hands-on.

pib started out as an idea that slowly took shape in the form of a master thesis and a robotic arm. From there, a humanoid robot was created that can easily be 3D printed with the free 3D print files on the website and then built with the help of the building manuals online. pib offers many ways to implement AI trainings such as voice assistant technology, object detection, imitation and more.

For starters, the pib team and the community have optimized pib’s mobility in a joint effort. The result is impressive: In its newest version, pib can now move its arms at basically all angles.  Another rapidly progressing topic is pib’s digital twin which received a birthday present by the community members that took on this project: The camera now works in the virtual environment, enabling the camera stream to be transmitted to the outside world to be analyzed there and then become the base of control processes.

Talk To Me, pib!

Aside from that, there has been some significant progress in the field of human-machine interaction, particularly focusing on enabling voice-based communication with pib through advanced voice assistant technology. Exploring the potential of natural speech interaction has become a significant area of the team’s current efforts and the project is committed to advancing pib’s capabilities in this direction.

One of the newest features that were revealed at the pib party is communication in a multimodal world. The robot captures an image, analyzes it, and then answers questions in relation to the image. For example, when asking pib “where are we right now?” it interprets the room and its setting and will answer something like “we are in an office space”.

With this new feature, pib was also able to play its first round of Tic Tac Toe. The team drew the gameboard on a whiteboard so that pib was able to analyze the current state of the game and determine the next move with commands such as “place the next X in the top right corner”.

Join The Community

The pib community is rapidly growing and consists of 3D printing, robotics and AI enthusiasts. Whether you’re a rookie or an expert, anyone is invited to join, share their ideas and work on exciting projects together.

Robotik auf dem neuesten Stand: 2 Jahre pib als Meilenstein

Vor zwei Jahren wurde das Open-Source-Robotikprojekt pib ins Leben gerufen. Das Ziel von pib, dem printable intelligent bot zum Selberbauen, ist es, die Hürden zu senken und Robotik und Künstliche Intelligenz für alle Interessierten zugänglich zu machen. In den letzten zwei Jahren hat pib eine aktive und engagierte Community aufgebaut, die das Projekt unterstützt und vorantreibt. Seit dem Start des Projekts ist also viel passiert – Zeit, um zurückzublicken, wie weit pib gekommen ist.

Meilensteine, Herausforderungen und was als Nächstes kommt

Es kommt nicht jeden Tag vor, dass ein Roboter zwei Jahre alt wird, also feierte das Team mit einer großen Party. Zum Auftakt der Veranstaltung wurde die brandneue pib-Dokumentation gestreamt, gefolgt von verschiedenen Stationen, an denen die Gäste die neuesten Funktionen von pib selbst ausprobieren konnten.

pib begann als eine Idee, die in Form einer Masterarbeit und eines Roboterarms langsam Gestalt annahm. Daraus entstand ein humanoider Roboter, der mit den kostenlosen 3D-Druckdateien auf der Website einfach in 3D gedruckt und dann mit Hilfe der online verfügbaren Bauanleitungen gebaut werden kann. pib bietet viele Möglichkeiten zur Implementierung von KI-Trainings wie Sprachassistenten, Objekterkennung, Imitation und mehr.

Zunächst einmal haben das pib-Team und die Community gemeinsam die Beweglichkeit von pib optimiert. Das Ergebnis kann sich sehen lassen: In der neuesten Version kann pib seine Arme nun in praktisch allen Winkeln bewegen.  Ein weiteres sich rasant entwickelndes Thema ist der digitale Zwilling von pib, der von den verantwortlichen Community-Mitgliedern ein Geburtstagsgeschenk erhalten hat: Die Kamera arbeitet nun in der virtuellen Umgebung, so dass das Kamerabild in die Außenwelt übertragen werden kann, um dort analysiert zu werden und dann zur Grundlage von Steuerungsprozessen zu werden.

Sprich mit mir, pib!

Darüber hinaus gab es einige bedeutende Fortschritte im Bereich der Mensch-Maschine-Interaktion, insbesondere bei der sprachbasierten Kommunikation mit pib durch fortschrittliche Sprachassistententechnologie. Das Team sieht großes Potenzial in der natürlichen Sprachinteraktion und arbeitet daran, die Fähigkeiten von pib in dieser Hinsicht noch weiter zu optimieren.

Eine der neuesten Funktionen, die auf der pib-Party vorgestellt wurden, ist die Kommunikation in einer multimodalen Welt. Der Roboter nimmt ein Bild auf, analysiert es und beantwortet dann Fragen im Zusammenhang mit dem Bild. Wenn man pib zum Beispiel fragt: „Wo sind wir gerade?“, interpretiert er den Raum und seine Umgebung und antwortet etwa: „Wir sind in einem Büro“.

Mit dieser neuen Funktion konnte pib auch seine erste Runde Tic Tac Toe spielen. Das Team zeichnete das Spielbrett auf ein Whiteboard, so dass pib in der Lage war, den aktuellen Stand des Spiels zu analysieren und den nächsten Zug mit Befehlen wie „platziere das nächste X in der oberen rechten Ecke“ zu bestimmen.

Join The Community

Die pib-Community wächst schnell und besteht aus 3D-Druck-, Robotik- und KI-Enthusiasten. Ob Anfänger oder Experte – jeder ist eingeladen, mitzumachen, seine Ideen zu teilen und gemeinsam an spannenden Projekten zu arbeiten.

Exploring Elephant Robotics LIMO Cobot

1. Introduction:

This article primarily introduces the practical application of LIMO Cobot by Elephant Robotics in a simulated scenario. You may have seen previous posts about LIMO Cobot’s technical cases, A[LINK]B[LINK]. The reason for writing another related article is that the original testing environment, while demonstrating basic functionality, often appears overly idealized and simplified when simulating real-world applications. Therefore, we aim to use it in a more operationally consistent environment and share some of the issues that arose at that time.

2. Comparing the Old and New Scenarios:

First, let’s look at what the old and new scenarios are like.

Old Scenario: A simple setup with a few obstacles, relatively regular objects, and a field enclosed by barriers, approximately 1.5m*2m in size.

New Scenario: The new scenario contains a wider variety of obstacles of different shapes, including a hollowed-out object in the middle, simulating a real environment with road guidance markers, parking spaces, and more. The size of the field is 3m*3m.

The change in environment is significant for testing and demonstrating the comprehensiveness and applicability of our product.

3. Analysis of Practical Cases:

Next, let’s briefly introduce the overall process.

The process is mainly divided into three modules: one is the functionality of LIMO PRO, the second is machine vision processing, and the third is the functionality of the robotic arm. (For a more detailed introduction, please see the previous article [link].)

LIMO PRO is mainly responsible for SLAM mapping, using the gmapping algorithm to map the terrain, navigate, and ultimately achieve the function of fixed-point patrol.

myCobot 280 M5 is primarily responsible for the task of grasping objects. A camera and a suction pump actuator are installed at the end of the robotic arm. The camera captures the real scene, and the image is processed by the OpenCV algorithm to find the coordinates of the target object and perform the grasping operation.

Overall process:

1. LIMO performs mapping.⇛

2. Run the fixed-point cruising program.⇛

3. LIMO goes to point A ⇛ myCobot 280 performs the grasping operation ⇒ goes to point B ⇛ myCobot 280 performs the placing operation.

4. ↺ Repeat step 3 until there are no target objects, then terminate the program.

Next, let’s follow the practical execution process.

Mapping:

First, you need to start the radar by opening a new terminal and entering the following command:

roslaunch limo_bringup limo_start.launch pub_odom_tf:=false

Then, start the gmapping mapping algorithm by opening another new terminal and entering the command:

roslaunch limo_bringup limo_gmapping.launch

After successful startup, the rviz visualization tool will open, and you will see the interface as shown in the figure.

At this point, you can switch the controller to remote control mode to control the LIMO for mapping.

After constructing the map, you need to run the following commands to save the map to a specified directory:

1. Switch to the directory where you want to save the map. Here, save the map to `~/agilex_ws/src/limo_ros/limo_bringup/maps/`. Enter the command in the terminal:

cd ~/agilex_ws/src/limo_ros/limo_bringup/maps/

2. After switching to `/agilex_ws/limo_bringup/maps`, continue to enter the command in the terminal:

rosrun map_server map_saver -f map1

This process went very smoothly. Let’s continue by testing the navigation function from point A to point B.

Navigation:

1. First, start the radar by entering the following command in the terminal:

roslaunch limo_bringup limo_start.launch pub_odom_tf:=false

2. Start the navigation function by entering the following command in the terminal:

roslaunch limo_bringup limo_navigation_diff.launch

Upon success, this interface will open, displaying the map we just created.

Click on „2D Pose Estimate, “ then click on the location where LIMO is on the map. After starting navigation, you will find that the shape scanned by the laser does not overlap with the map. You need to manually correct this by adjusting the actual position of the chassis in the scene on the map displayed in rviz. Use the tools in rviz to publish an approximate position for LIMO. Then, use the controller to rotate LIMO, allowing it to auto-correct. When the shape of the laser scan overlaps with the shapes in the map’s scene, the correction is complete, as shown in the figure where the scanned shape and the map overlap.

Click on „2D Nav Goal“ and select the destination on the map for navigation.

The navigation test also proceeds smoothly.

Next, we will move on to the part about the static robotic arm’s grasping function.

Identifying and Acquiring the Pose of Aruco Codes

To precisely identify objects and obtain the position of the target object, we processed Aruco codes. Before starting, ensure the specific parameters of the camera are set.

Initialize the camera parameters based on the camera being used.

def __init__(self, mtx: np.ndarray, dist: np.ndarray, marker_size: int):
self.mtx = mtx
self.dist = dist
self.marker_size = marker_size
self.aruco_dict = cv2.aruco.Dictionary_get(cv2.aruco.DICT_6X6_250)
self.parameters = cv2.aruco.DetectorParameters_create()

Then, identify the object and estimate its pose to obtain the 3D position of the object and output the position information.

def estimatePoseSingleMarkers(self, corners):
"""
This will estimate the rvec and tvec for each of the marker corners detected by:
corners, ids, rejectedImgPoints = detector.detectMarkers(image)
corners - is an array of detected corners for each detected marker in the image
marker_size - is the size of the detected markers
mtx - is the camera matrix
distortion - is the camera distortion matrix
RETURN list of rvecs, tvecs, and trash (so that it corresponds to the old estimatePoseSingleMarkers())
"""
marker_points = np.array([[-self.marker_size / 2, self.marker_size / 2, 0],
[self.marker_size / 2, self.marker_size / 2, 0],
[self.marker_size / 2, -self.marker_size / 2, 0],
[-self.marker_size / 2, -self.marker_size / 2, 0]], dtype=np.float32)
rvecs = []
tvecs = []
for corner in corners:
retval, rvec, tvec = cv2.solvePnP(marker_points, corner, self.mtx, self.dist, False,
cv2.SOLVEPNP_IPPE_SQUARE)
if retval:
rvecs.append(rvec)
tvecs.append(tvec)

rvecs = np.array(rvecs)
tvecs = np.array(tvecs)
(rvecs - tvecs).any()
return rvecs, tvecs

The steps above complete the identification and acquisition of the object’s information, and finally, the object’s coordinates are returned to the robotic arm to execute the grasping.

Robotic Arm Movement and Grasping Operation

Based on the position of the Aruco marker, calculate the target coordinates the robotic arm needs to move to and convert the position into a coordinate system suitable for the robotic arm.

def homo_transform_matrix(x, y, z, rx, ry, rz, order="ZYX"):
rot_mat = rotation_matrix(rx, ry, rz, order=order)
trans_vec = np.array([[x, y, z, 1]]).T
mat = np.vstack([rot_mat, np.zeros((1, 3))])
mat = np.hstack([mat, trans_vec])
return mat

If the Z-axis position is detected as too high, it will be corrected:

if end_effector_z_height is not None:  
p_base[2] = end_effector_z_height

After the coordinate correction is completed, the robotic arm will move to the target position.

# Concatenate x, y, z, and the current posture into a new array
new_coords = np.concatenate([p_base, curr_rotation[3:]])
xy_coords = new_coords.copy()

Then, control the end effector’s API to suction the object.

The above completes the respective functions of the two robots. Next, they will be integrated into the ROS environment.

#Initialize the coordinates of point A and B
    goal_1 = [(2.060220241546631,-2.2297520637512207,0.009794792000444471,0.9999520298742676)] #B
    goal_2 = [(1.1215190887451172,-0.002757132053375244,-0.7129997613218174,0.7011642748707548)] #A
    #Start navigation and link the robotic arm
    map_navigation = MapNavigation()
    arm = VisualGrasping("10.42.0.203",9000)
    print("connect successful")

    arm.perform_visual_grasp(1,-89)
    # Navigate to location A and perform the task
        for goal in goal_1:
        x_goal, y_goal, orientation_z, orientation_w = goal
        flag_feed_goalReached = map_navigation.moveToGoal(x_goal, y_goal, orientation_z, orientation_w)
        if flag_feed_goalReached:
            time.sleep(1)
            # executing 1 grab and setting the end effector's Z-axis height to -93.
            arm.unload()
            print("command completed")
        else:
            print("failed")

4. Problems Encountered

Mapping Situation:

When we initially tried mapping without enclosing the field, frequent errors occurred during navigation and localization, and it failed to meet our requirements for a simulated scenario.

Navigation Situation:

In the new scenario, one of the obstacles has a hollow structure.

During navigation from point A to point B, LIMO may fail to detect this obstacle and assume it can pass through, damaging the original obstacle. This issue arises because LIMO’s radar is positioned low, scanning only the empty space. Possible solutions include adjusting the radar’s scanning range, which requires extensive testing for fine-tuning, or adjusting the radar’s height to ensure the obstacle is recognized as impassable.

Robotic Arm Grasping Situation:

In the video, it’s evident that our target object is placed on a flat surface. The grasping did not consider obstacle avoidance for the object. In the future, when setting special positions for grasping, this situation needs to be considered.

5. Conclusion

Overall, LIMO Cobot performed excellently in this scenario, successfully meeting the requirements. The entire simulated scenario covered multiple core areas of robotics, including motion control of the robotic arm, path planning, machine vision recognition and grasping, and radar mapping navigation and fixed-point cruising functions of the mobile chassis. By integrating these functional modules in ROS, we built an efficient automated process, showcasing LIMO Cobot’s broad adaptability and advanced capabilities in complex environments.

Credits

Elephant Robotics

Elephant Robotics

Festo at Hannover Fair unveils Bionic Honeybees that fly in swarms

For more than 15 years, the Bionic Learning Network has been focusing on the fascination of flying. In addition to the technical decoding of bird flight, the team has researched and technologically implemented numerous other flying objects and their natural principles. With the BionicBee, the Bionic Learning Network has now for the first time developed a flying object that can fly in large numbers and completely autonomously in a swarm. The BionicBee will present its first flight show at the Hannover Messe 2024.

At around 34 grams, a length of 220 millimetres and a wingspan of 240 millimetres, the BionicBee is the smallest flying object created by the Bionic Learning Network to date. For the first time, the developers used the method of generative design: after entering just a few parameters, a software application uses defined design principles to find the optimal structure to use as little material as necessary while maintaining the most stable construction possible. This consistent lightweight construction is essential for good manoeuvrability and flying time.

Autonomous flying in a swarm

The autonomous behavior of the bee swarm is achieved with the help of an indoor locating system with ultra-wideband (UWB) technology. For this purpose, eight UWB anchors are installed in the space on two levels. This enables an accurate time measurement and allows the bees to locate themselves in the space. The UWB anchors send signals to the individual bees, which can independently measure the distances to the respective transmitting elements and calculate their own position in the space using the time stamps.

To fly in a swarm, the bees follow the paths specified by a central computer. To ensure safe and collision-free flight in close formation, a high degree of spatial and temporal accuracy is required. When planning the path, the possible mutual interaction through air turbulence “downwash” must also be taken into account.

As every bee is handmade and even the smallest manufacturing differences can influence its flight behavior, the bees additionally have an automatic calibration function: After a short test fl ight, each bee determines its individually optimized controller parameters. The intelligent algorithm can thus calculate the hardware differences between the individual bees, allowing the entire swarm to be controlled from outside, as if all bees were identical.

„ReBeLs on Wheels“ make driverless transport systems affordable through modern plastic technology

Cologne/Hanover, April 24, 2024 – Mobile robotics systems are being used in more and more work areas, in e-commerce warehouses as well as in modern restaurants. Conventional models on the market start at around 25,000 euros, while solutions with an integrated robot arm start at around 70,000 euros. However, widespread use in the market is often unaffordable for small and medium-sized enterprises due to the high prices. igus wants to change this with new low-cost robotics offerings and is presenting a series of low-cost mobile plastic robots at the Hannover Messe.

The market for Automated Guided Vehicles (AGV) and Autonomous Mobile Robots (AMR) is booming: The global market for mobile robotics, including service robotics, is currently worth around 20.3 billion US dollars, and experts expect it to almost double by 2028. 1 Mobile robots are particularly common in intralogistics and industrial applications. And even in the catering industry or in hospitals, the smart helpers are increasingly making their rounds. This is also the case at motion plastics specialist igus: For four years now, the plastics experts have been successfully testing AGVs in-house – driverless racks that deliver mail and deliveries to offices, as well as mobile robots in production that move transports and stack-and-turn containers. The experience gained flows directly into the development of a new low-cost automation product line, the „ReBeL on Wheels“. Their goal: to pave the way for small and medium-sized enterprises (SMEs) to use cost-effective mobile robotics.

Mobile ReBeL solutions for education, logistics and service
The basis of any mobile robotics system is the ReBeL. The use of plastic makes the robot particularly affordable at 4,970 euros and, with a dead weight of 8.2 kilograms, the lightest service robot with cobot function in its class. All mechanical components that make up the ReBeL are developed and manufactured by igus without exception. It has a load capacity of 2 kilograms and a reach of 664 millimetres. Various mobile systems are planned in which the ReBeL is centrally integrated: igus is launching an affordable version for the education sector for 14,699 euros – including the robot arm. The ReBeL EduMove equipped with a gripper serves as an autonomous learning platform for educational institutions thanks to open source. It has a modular design and can be flexibly expanded to include additional functions such as lidar, camera technology or slam algorithm. Another variant is an automated guided vehicle system for SMEs. It can carry up to 30 kilograms. With the optional ReBeL, simple A-to-B positioning can be made. It dispenses with expensive sensor technology and instead relies on 3D sensor technology developed in-house. The price is 17,999 euros. In addition, igus will be showcasing a study of a service robot at a low price in Hanover. The ReBeL Butler is suitable for simple but time-consuming pick-up and drop-off services, for example in the hotel and catering industry.

A lighthouse project on wheels
The goal of all these developments is the lighthouse project, a mobile robot with integrated HMI and vision that could even tidy up an office on its own. „With this project, we are pursuing a bottom-to-top strategy, in which certain components such as safety laser scanners are not included in the basic package in order to keep the price low,“ explains Alexander Mühlens, authorized signatory and head of the low-cost automation business unit at igus. „Nevertheless, it ensures that the solution can be retrofitted for industrial requirements.“ Among other things, igus is presenting an affordable gripper with a large stroke and travel this year, which offers a high degree of flexibility when gripping different geometries. Alexander Mühlens: „The areas of application for this targeted low-cost AMR are extremely diverse and go far beyond simple transport tasks. They encompass a huge range of applications in various areas of life, such as cleaning tasks or serving coffee directly at the workplace.“