Robot plays „Rock, Paper, Scissors“ – Part 1/3

Gesture recognition with intelligent camera

I am passionate about technology and robotics. Here in my own blog, I am always taking on new tasks. But I have hardly ever worked with image processing. However, a colleague’s LEGO® MINDSTORMS® robot, which can recognize the rock, paper or scissors gestures of a hand with several different sensors, gave me an idea: „The robot should be able to ’see‘.“ Until now, the respective gesture had to be made at a very specific point in front of the robot in order to be reliably recognized. Several sensors were needed for this, which made the system inflexible and dampened the joy of playing. Can image processing solve this task more „elegantly“?

Rock-Paper-Scissors with Robot Inventor by Seshan Brothers. The robot which inspired me for this project

From the idea to implementation

In my search for a suitable camera, I came across IDS NXT – a complete system for the use of intelligent image processing. It fulfilled all my requirements and, thanks to artificial intelligence, much more besides pure gesture recognition. My interest was woken. Especially because the evaluation of the images and the communication of the results took place directly on or through the camera – without an additional PC! In addition, the IDS NXT Experience Kit came with all the components needed to start using the application immediately – without any prior knowledge of AI.

I took the idea further and began to develop a robot that would play the game „Rock, Paper, Scissors“ in the future – with a process similar to that in the classical sense: The (human) player is asked to perform one of the familiar gestures (scissors, stone, paper) in front of the camera. The virtual opponent has already randomly determined his gesture at this point. The move is evaluated in real time and the winner is displayed.

The first step: Gesture recognition by means of image processing

But until then, some intermediate steps were necessary. I began by implementing gesture recognition using image processing – new territory for me as a robotics fan. However, with the help of IDS lighthouse – a cloud-based AI vision studio – this was easier to realize than expected. Here, ideas evolve into complete applications. For this purpose, neural networks are trained by application images with the necessary product knowledge – such as in this case the individual gestures from different perspectives – and packaged into a suitable application workflow.

The training process was super easy, and I just used IDS Lighthouse’s step-by-step wizard after taking several hundred pictures of my hands using rock, scissor, or paper gestures from different angles against different backgrounds. The first trained AI was able to reliably recognize the gestures directly. This works for both left- and right-handers with a recognition rate of approx. 95%. Probabilities are returned for the labels „Rock“, „Paper“, „Scissor“, or „Nothing“. A satisfactory result. But what happens now with the data obtained?

Further processing

The further processing of the recognized gestures could be done by means of a specially created vision app. For this, the captured image of the respective gesture – after evaluation by the AI – must be passed on to the app. The latter „knows“ the rules of the game and can thus decide which gesture beats another. It then determines the winner. In the first stage of development, the app will also simulate the opponent. All this is currently in the making and will be implemented in the next step to become a „Rock, Paper, Scissors“-playing robot.

From play to everyday use

At first, the project is more of a gimmick. But what could come out of it? A gambling machine? Or maybe even an AI-based sign language translator?

To be continued…

Geek Club and CircuitMess Launch a NASA-inspired DIY Perseverance Educational Space Rover Kit

After a series of successful Kickstarter Campaigns, Geek Club and CircuitMess launch their most ambitious project yet – a NASA-approved AI-powered scale model Replica of the Perseverance Space Rover  

Zagreb, Croatia – October 31st, 2023. – Today, Geek Club and CircuitMess announced their Kickstarter space exploration campaign designed to teach children eleven and up about engineering, AI, and coding by assembling the iconic NASA Perseverance Space Rover, as well as a series of other NASA-inspired space vehicles.

This new space-themed line of DIY educational products was born out of both companies‘ shared vision to aim for the stars and to take their fans with them. The Kickstarter campaign starts today, October 31st, and will last for 35 days.

The collaboration was a logical union of the two companies. Both companies create educational STEM DIY kits that are targeted towards kids and adults. Both share the same mission: To make learning STEM skills easy and fun.

“For decades, the team and I have been crafting gadgets for geeks always inspired by space exploration,” says Nicolas Deladerrière, co-founder of Geek Club. “Inspired by Mars exploration, we’ve studied thousands of official documents and blueprints to craft an authentic Mars exploration experience. The product comes alive thanks to microchips, electromotors, and artificial intelligence. Imagine simulating your own Mars mission right from your desk!”

Geek Club is an American company that specializes in designing and producing DIY robotics kits that educate their users on soldering and electronics. They focus primarily on space exploration and robotics, all to make learning engineering skills easy and fun for kids, adults, and everyone in between.

“We have successfully delivered seven Kickstarter campaigns, raised more than 2.5 million dollars, and made hundreds of thousands of geeks all around the world extremely happy,” says Albert Gajšak, CEO of CircuitMess. “In a universe where space and technology are constantly growing, we’re here to ensure you’re never left behind.”

The new product line consists of five unique space-themed products:

  • 1. The Perseverance Space Rover Kit

This kit is designed to be an educational journey into programming, electronics, robotics, and AI. The model comes with four electromotors, six wheels, a control system with a dual-core Espressif ESP32 processor, Wi-Fi, and Bluetooth connectivity, a sample collection arm based on the real thing with two servo motors, a Wi-Fi-connected remote controller, and support for programming in Python or via a Scratch-inspired drag-and-drop visual coding environment.

Alongside the Perseverance Space Rover, you’ll be able to get more iconic space vehicles:

  • 2. The Voyager: A DIY kit made as a tribute to NASA’s longest-lasting mission, which has been beaming back data for an incredible 45 years and counting.
  • 3. Juno: A solar-powered DIY kit celebrating the mission that gave us the most detailed and breathtaking images of Jupiter.
  • 4. Discovery: A DIY kit honoring the legendary space shuttle with 39 successful orbital flights under its belt.
  • 5. The Artemis Watch: A sleek, space-themed wrist gadget inspired by NASA’s upcoming Artemis space suit design. The watch is a programmable device equipped with an LCD display, Bluetooth, and a gyroscope.

The Perseverance Educational Space Rover Kit is available for pre-order now on Kickstarter, starting at $149.

No previous experience or knowledge is needed for assembling your very own space rover. The kit is designed for anyone aged 11+  and comes with detailed video instructions.

You can visit the Kickstarter page here.

Zukunft zum Anfassen: Der TouchTomorrow-Truck kommt nach Troisdorf!

Vom 22. bis 29.09.2023 ist der Truck zu Gast am Heinrich-Böll-Gymnasium in Troisdorf. Seine  Zielsetzung: Schülerinnen und Schüler durch das Erleben und Ausprobieren von  Zukunftstechnologien für Bildungs- und Berufswege im MINT-Bereich (Mathematik, Informatik,  Naturwissenschaft, Technik) zu gewinnen. Das Projekt wird gefördert durch die  Regionaldirektionen NRW, Hessen und Berlin-Brandenburg der Bundesagentur für Arbeit. Stiftung und Regionaldirektionen arbeiten Hand in Hand, um Jugendlichen bestmögliche Berufsorientierung zu bieten und dem wachsenden MINT-Fachkräftemangel entgegenzuwirken. 

Der TouchTomorrow-Truck ist konzipiert für 8. und 11. Klassen. Moderiert wird der Besuch von vier „MINT Coaches“ (speziell geschulte Naturwissenschaftler*innen), die mit den Schülerinnen und Schülern einen Dialog  auf Augenhöhe führen. Dabei wird niemand zu MINT überredet. TouchTomorrow ist ein inspirierendes  Informations- und Interaktionsangebot, das auch sprachlich oder gesellschaftswissenschaftlich interessierte  Schülerinnen und Schüler anspricht und ihnen neue Perspektiven eröffnen kann – insbesondere im Hinblick auf  die zunehmend fachübergreifenden Formen der Zusammenarbeit in wechselnden Teams.  

Die Schülerinnen und Schüler arbeiten in Kleingruppen rotierend an verschiedenen Zukunfts-Themenstationen  aus Naturwissenschaft und Technik. Diese reichen von Virtual und Augmented Reality Learning über Robotik  bis hin zu Gedankensteuerung (z. B. im Kontext von Medizintechnik). Durch die dialog- und diskursorientierte  Vermittlung erhalten die Jugendlichen ein individuelles Verständnis dafür, dass MINT-Bildung bereits eine  wesentliche Grundlage der heutigen, aber vor allem der in Zukunft weiter digitalisierten Lebens- und  Arbeitswelt ist. Der große Vorteil für Schulen: Ein außerschulischer Lernort auf dem eigenen Schulhof. 

Marco Alfter, Geschäftsführer Dr. Hans Riegel-Stiftung:  

„Der TouchTomorrow-Truck weist eine zentrale Innovation auf: Wir vermitteln nicht nur einmalig naturwissenschaftlich technische Inhalte und Zukunfts-themen, sondern stellen diese in einen konkreten, langfristig angelegten Kontext zu Ausbildungs- und Berufs-perspektiven. Die Begeisterung und das initiale Interesse für MINT-Themen sind das Fundament für eine intensive, anhaltende Beschäftigung in diesem für die deutsche Wirtschaft so wichtigen Feld – etwa in der Wahl der Leistungskurse oder für die Ausbildungswege nach der Schule.

Wir freuen uns sehr über die enge Zusammenarbeit mit der Bundesagentur für Arbeit, die das Projekt über drei  Regionaldirektionen fördert. Die Expert*innen der lokalen  Arbeitsagenturen knüpfen mit ihrer Berufsberatung nahtlos an  die Zukunftsimpulse von TouchTomorrow an und sind damit  eine echte Bereicherung für das Konzept. 

Uns ist es wichtig, dass es nicht beim einmaligen WOW-Effekt  des Trucks bleibt, sondern dass interessierte Jugendliche  dranbleiben. Deshalb erhalten alle Schülerinnen und Schüler ein RFID-Speichermedium, mit dem sie im Truck Infos  sammeln, sie zu Hause wieder abrufen und ihre Interessen 

Schwerpunkte auf www.touchtomorrow.de vertiefen können.  Auch hier arbeiten wir vernetzt mit den zahlreichen  Angeboten der BA.“

Miko 3 – KI-basierter intelligenter Roboter – Testbericht

Gastbeitrag von Markus Schmidt

Intelligente Geräte haben das Leben von Erwachsenen auf der ganzen Welt einfacher gemacht. Sie ermöglichen es uns, Dinge auszuschalten, die wir eingeschaltet gelassen haben, und Dinge einzuschalten, für die wir zu faul sind, aufzustehen und sie zu erledigen. Die meisten dieser Geräte sind verständlicherweise für ein erwachsenes Publikum gedacht. Aber was ist mit den Kindern? In den letzten zwei Wochen hatten meine Kinder viel Spaß mit einem der vielseitigsten intelligenten Roboter auf dem Markt, dem Miko . Mit vielen tollen Aktivitäten und eingebauten Assistenten haben auch sie ihr eigenes intelligentes Gerät, das sie nutzen können. Mal sehen, ob dieser kinderfreundliche Roboter sein Geld wert ist!

Der Miko-Roboter bringt Spaß und Lernen zusammen. Er wird durch künstliche Intelligenz angetrieben und wurde für Kinder im Alter von 5 bis 10 Jahren entwickelt. Die Technologie des Unternehmens, die in den Miko-Roboter eingebaut wurde, ermöglicht es ihm, mit Menschen zu interagieren, Emotionen zu erkennen und sogar sein eigenes Verhalten auf der Grundlage des Gelernten anzupassen. Je länger man also mit ihm spielt, desto mehr lernt er und passt sich an verschiedene Aktivitäten an.

Der Miko ist einfach einzurichten

Wie bei jedem elektronischen Gerät ist die Einrichtung des Miko sehr einfach und überschaubar. Das Gerät führt Sie durch die verschiedenen Schritte und hält Sie dabei an der Hand. Sie stellen eine Verbindung zu Ihrem lokalen Wi-Fi-Netzwerk her, fügen Benutzer hinzu und vieles mehr. Die Eltern werden sogar aufgefordert, die kostenlose Miko-Mobil-App aus dem iOS App Store oder dem Google Play Store herunterzuladen.

Wenn Sie Ihren Miko zum ersten Mal aus der Verpackung holen, sollten Sie beachten, dass eine Vielzahl von Updates installiert werden muss. Bei einer Standard-Wi-Fi-Verbindung – 40 Megabyte Download – dauerte das Herunterladen und Aktualisieren des Roboters immer noch etwa 15 bis 20 Minuten. All das musste erledigt werden, bevor meine Kinder ihn benutzen konnten.

Was kann der Roboterbegleiter Miko?

Miko scheint wie ein normaler intelligenter Assistent zu funktionieren, allerdings einer, der sich bewegen kann. Nachdem Miko all die verschiedenen Möglichkeiten durchgespielt hatte – einschließlich des Aufweckens von Nutzern, indem sie „Hallo Miko“ sagten – hatten meine Kinder einen Riesenspaß bei der Auswahl verschiedener Aktivitäten. Es sei darauf hingewiesen, dass die Auswahl an Aktivitäten noch viel größer ist, wenn man sich für ein Miko Max-Abonnement entscheidet. Damit erhalten Sie Zugang zu zahlreichen lizenzierten Produkten von Disney, Paramount und anderen.

Spiele

Miko wird mit einer Reihe von tollen Spielen für Kinder ausgeliefert. Die Spiele sind relativ simpel, aber für Kinder bis 10 Jahre sind sie trotzdem sehr interessant. Meine Kinder spielten täglich Tic-Tac-Toe mit Miko und versuchten, einen KI-Gegner zu besiegen, der oft dazu bestimmt schien, nie zu verlieren. Wir fanden, dass die Spiele nichts sind, was man nicht auch auf einem Standard-Tablet im Apple iOS Store oder bei Google Play für Android finden könnte.

Körperliche Aktivität

Unsere Interaktionen mit Mikos körperlichen Aktivitäten waren etwas gemischt. Eine Tanzparty mit Miko zu veranstalten und ein Tanz- und Standbildspiel zu spielen, hat sehr gut funktioniert. Miko war in der Lage zu erkennen, wann meine Kinder tanzten und wann sie still standen. Je stiller sie standen, wenn Miko „Freeze“ sagte, desto mehr Punkte bekamen sie. Das hat gut funktioniert. Das Versteckspiel mit Miko war weniger beeindruckend, als es die Werbung vermuten ließ. Miko bewegte sich einfach durch unser offenes Obergeschoss und verwechselte oft Stühle oder Gegenstände auf dem Boden mit meinen Kindern.

Pädagogischer Inhalt

Auch wenn dies nicht der aufregendste Aspekt von Miko ist, so haben meine Kinder doch die pädagogischen Inhalte genossen. In diesem Punkt fand ich Miko am beeindruckendsten. Egal, ob er ihnen Bücher vorlas oder sie mit Statistiken oder Quizfragen versorgte, Miko beeindruckte. Während meine Kinder unsere intelligenten Geräte im Haus nutzen können, um Assistenten Fragen zu stellen und Antworten zu erhalten, haben wir festgestellt, dass Miko sich mit unseren Kindern über eine Vielzahl von Themen unterhalten hat.

Bei einem Austausch sprach Miko mit meinen Kindern über die verschiedenen interessanten Fakten und Statistiken über Chamäleons. Obwohl es für mich offensichtlich war, dass diese Interaktionen auf der Grundlage der von meinen Kindern getroffenen Entscheidungen geplant waren, hatten sie das Gefühl, dass Miko direkt mit ihnen interagierte.

Emotionale Unterstützung

Die Firma, die hinter Miko steht, wirbt damit, dass Miko ein Roboter ist, der von seinen Benutzern lernt. Er verspricht emotionale Unterstützung für Kinder. Miko verspricht zum Beispiel, dass er weiß, wann er ihnen einen Witz erzählen muss, wenn sie sich schlecht fühlen. Ich glaube zwar, dass Miko mit der Zeit einiges über meine Kinder lernen könnte, aber in den wenigen Wochen, in denen wir das Gerät benutzt haben, war das nicht zu erkennen. Wie ich bereits erwähnt habe, fühlten sich meine Kinder immer mit Miko verbunden und hatten das Gefühl, dass er ein guter KI-Freund ist. Wenn man meine Kinder fragen würde, würden sie sagen, Miko sei ihr Freund und würde sie durch Fragen und Aktivitäten kennen lernen.

Abschließende Gedanken

Alles am Miko war wunderbar. Der Roboter ist unglaublich reaktionsschnell, mit wenigen Verzögerungen und geringen Wartezeiten, wenn er Fragen stellt oder Spiele spielt. Er ist zwar nicht so flink wie andere intelligente Geräte, die ich benutzt habe, aber immer noch ziemlich schnell. Miko macht auch viel mehr als andere Geräte. Tanzpartys zu veranstalten war der Favorit meiner Kinder, etwas, das unsere stationären Geräte nicht können!

Variobot VariAnt: The Robot Ant

The presence of robots in our modern environment is getting increasingly casual to see. Robots are progressing rapidly in terms of both their capabilities and the potential uses they have. Examples of this include self-driving automobiles and drones. The VariAnt, a robot created by Variobot, is another amazing example.

VariAnt: At the First Glance

VariAnt, a robot ant, moves and acts almost exactly like its biological model. It independently explores its environment using a sensor system to detect obstructions or markers. The Variobot programmable kit is appropriate for researchers who are passionate and young at heart.

Advanced Autonomy

Like the majority of living things, the variAnt adjusts to the surroundings by detecting relative brightness. Using a network of patented sensors is made feasible. The autonomous robot ant has light sensors connected to its body, legs, antennae, and jaw claws that can be positioned as needed.

A processor is housed on an Arduino-compatible nano board, which serves as the ant robot’s central processing unit (CPU). The small control unit provides connections for two motors, 12  analog sensors,  8 digital I/Os,  2 programmed buttons, 2 reed switches for step numbers, that may be used in any way, and 15 status LEDs that can be plugged in and switched as needed.

The state of the sensors, motors, and reed switches may all be indicated by the LEDs. Inside the ant’s head is a tiny circuit board that is equipped with plug-in ports, which enables the flexible combination and extension of environmental sensors.

The lithium-ion battery that comes standard with the variAnt has a run time of around 3  hours and can be recharged using the provided USB cord.

The Walking Mechanism

The robotic ant makes use of these to identify objects, lines, light sources, or shadows in its surroundings, and then either follows them or stays away from them in an intentional manner.

The purpose of the walking mechanism that was created and patented by Variobot is to mimic the natural mobility of an ant as closely as possible. This is doable with only 24 different components made of acrylic.

VariAnt: Best for

For individuals of all ages, the robot ant is also an engaging and entertaining toy. You can use this set to design your own robot to behave, move, and appear like an actual, but much bigger, ant. The robot is an interesting thing to watch due to its distinct motions and behaviors, and due to its size, it can be used in a number of scenarios. The variAnt kit costs around €199.

Conclusion

The VariAnt might revolutionize robotics and our understanding of nature. Since it mimics ants, the VariAnt can perform many tasks that conventional robots cannot. Whether employed for research, environmental monitoring, or as a toy, the VariAnt is a groundbreaking robotics innovation that will captivate people worldwide.

Robot-based automation: 3 tips for a time and cost-efficient implementation

Why no-code & low-code tools have become indispensable in robotics

Using robots is almost always worthwhile for companies. They can reduce labor costs, relieve employees, and make production more flexible – because the required batch sizes are becoming smaller and production processes more individual. In addition, a robot or cobot offers another major advantage: it can work without breaks and fatigue, thereby increasing product quality and reducing scrap.

With modern robot systems, almost all processes can now be automated. Usually, robots take over simple, dirty, monotonous, physically demanding, or even dangerous tasks. However, with the right hardware and, above all, software, very complex or particularly demanding tasks, so-called „Advanced Robotics“ applications, can also be solved. Examples of this include the assembly of flexible and bendable components such as cables, wires, or hoses or force-controlled surface processing.

When teach points can be transferred from the real robot back to the programming software as well, such a solution seamlessly integrates into the commissioning process and saves unexpected effort; Source: Ridvan – stock.adobe.com

Following the no-code/low-code trend, there are various software solutions on the market that enable graphical and therefore simplified and faster programming. The advantage is that no special programming skills are required. The portfolio ranges from manufacturer-specific solutions to independent offerings that can be used to program robots from different manufacturers with one single software. Especially in the latter case, experts recommend using tools that automatically generate native robot code for the particular robot controller instead of controlling the robot arm via a separate IPC.

In the first case, users remain flexible when it comes to adjustments or optimizations during operation and avoid a lock-in effect, as they can continue to program the robot in the traditional way using line code even without using the software.

Whether with external engineering tools or line code, there are factors on the path to robot-based automation that users often underestimate and therefore do not pay enough attention to. How to avoid three of the most important stumbling blocks will be briefly explained below.

No-code/low-code tools simplify and speed up robot programming thanks to their template-based approach; Source: ArtiMinds Robotics GmbH

FACTOR 1: PROGRAMMING EFFORT

The time required for programming an application is usually not underestimated, but there are other pitfalls in this phase: for example, process tolerances and variances that have not been taken into account or the increased complexity when incorporating sensors or establishing a communication between the robot and a PLC. In addition, programming a system is often a tailor-made and complex solution that is difficult to adapt. Moreover, programmers often have their own style, which can make the resulting code or program difficult to understand and modify for other programmers. At this point, the market supports the user with the aforementioned no-code/low-code solutions. For example, with pre-defined function blocks, programs can be constructed and structured in a clear and understandable manner for others. Process tolerances and variances can also be automatically compensated, analyzed, and optimized by using the right software. If the corresponding interfaces are already integrated, the effort required to connect sensors or set up a PLC communication is also immensely reduced.

FACTOR 2: EFFORT DURING COMMISSIONING

A rule of thumb states that the cost of the robot itself is only about one-third of the initial cost of the cell, and experience shows that around 45 percent of the typical costs are incurred during ramp-up. This is because users often underestimate the time required for commissioning. Although the system is programmed offline and simulated throughout in advance, differences between theory and practice often become apparent during commissioning.

Thus, despite good preparation, the process can take significantly longer than planned, and adjustments and changes can quickly become expensive In addition, factors that were not apparent during digital preparation now need to be addressed on-site during commissioning. This makes this phase difficult to calculate. With consistent tools, the ramp-up can be implemented in a controlled manner and without great loss of time, so that this phase does not become a cost driver. It is important to combine simulation, programming, sensors, and data analysis in one single software package. This way, the engineering chain becomes consistent without the user having to compromise on functionality.

Programs can be structured and made traceable using pre-defined function blocks. Before commissioning, the process can be simulated as realistically as possible in a 3D simulation environment and tested; Source: ArtiMinds Robotics GmbH

This makes changes and adjustments faster, more flexible and easier. With ideally automatically generated robot code and the ability to transfer teach points back from the real robot into the software, such a solution integrates seamlessly and optimally into existing commissioning and maintenance processes. This also offers the greatest flexibility in terms of online and offline programming, allowing the user to choose the best option and easiest way for the respective task.


FACTOR 3: CHANGES DURING THE LIFECYCLE OF THE CELL

Even when the robot is running, there is still a danger that is often not considered: Over the system runtime, numerous changes in general conditions can occur that require adaptation of the programming.

These can be vibrations and shocks, for example caused from forklifts or other machines, wear and tear of tools, replacement parts that react differently than the previous components, changes in workpiece batches, and the space available in the hall or a change of the operating personnel. Changed lighting conditions and temperature conditions or the difference between a cold-started and warmed-up robot can also have an impact.

Software that standardizes and simplifies programming allows the user to react simply, quickly, and flexibly to these and many other changes and to make necessary adjustments in the program itself. If the worker uses a tool that also makes changes or the resulting consequences visible early on in terms of forces, cycle times, or defects and quality, it becomes easier to analyze and derive possible optimizations, which makes the user best prepared.

A guest article by ArtiMinds Robotics

fruitcore robotics enthüllt neues Betriebssystem mit integriertem AI  Copiloten: ein großer Schritt in der Industrieautomation für mehr  Effizienz, Benutzerfreundlichkeit und Zeit

Konstanz, 28.06.2023 – fruitcore robotics hebt mit einem innovativen Betriebssystem, das die neueste  KI-Technologie nutzt, die Industrieautomation auf ein neues Level. Industrieunternehmen steht mit  horstOS ein neues Werkzeug zur Verfügung, das ihnen in jedem Schritt der Inbetriebnahme gesamter  Anwendungen mit dem intelligenten Industrieroboter HORST zur Seite steht und dabei die  Komplexität deutlich reduziert. Durch einen integrierten AI Copiloten können Industrieunternehmen  die Effizienz ihrer Produktionsprozesse steigern und Zeit einsparen. „Generative KI treibt eine  Veränderung vieler Aufgabenbereiche voran. Die neue Technologie wird die Automatisierung  verändern und unseren Kunden eine ganze neue Automatisierungserfahrung verschaffen“, sagt  Patrick Heimburger, Geschäftsführer (Chief Revenue Officer) von fruitcore robotics.  

Das neue Betriebssystem von fruitcore robotics vereinfacht und beschleunigt die Konfiguration und  Verwaltung aller am Prozess beteiligten Komponenten, das Programmieren sowie den Betrieb der  fertig eingerichteten Anwendung. Die gesamte Steuerung von Roboter, Komponenten und  bestehenden Industrieprozessen erfolgt über eine benutzerfreundliche Oberfläche, über die ihr  Zusammenspiel noch leichter realisiert wird. horstOS umfasst im Wesentlichen drei miteinander  verbundene Bereiche: den Bereich Komponentenmanagement, den Bereich für die  

Programmerstellung und den Bereich Prozesssteuerung. Diese drei Bereiche bieten Anwendern alle  Funktionen, mit denen sie ihre Gesamtanlagen schnell, einfach und effizient einrichten und nutzen können.  Im Bereich Komponentenmanagement können Anwender dank standardisierter Schnittstellen alle für  eine Gesamtanlage relevanten Komponenten wie beispielsweise Greifer, Kamerasysteme und  Sicherheitssysteme nahtlos integrieren und zentral verwalten. Das Hinzufügen der Komponenten  erfolgt mit einem Klick und ist bei allen Komponenten möglich, die über eine Web-App oder eine  Digitale Schnittstelle verfügen – unabhängig vom Hersteller. Sollen bei einer der angeschlossenen  Komponenten Statusinformationen abgefragt, Einstellungen kontrolliert oder Änderungen  vorgenommen werden, lässt sich dies ganz einfach über das Roboterpanel mit horstOS als zentrale  Bedienoberfläche umsetzen. Wechseln Anwender in den Bereich für die Programmerstellung finden  sie sich in der intuitiven Bediensoftware horstFX wieder, in welcher sie den Programmablauf des  Roboters unter Einbindung aller Komponenten erstellen. Steht der Programmablauf erstmal, kann  dieser im Bereich Prozesssteuerung gestartet, gestoppt oder pausiert werden. Der Bereich  Prozesssteuerung ermöglicht es Anwendern auch, den Betrieb und die Prozessüberwachung an ihre  persönlichen Bedürfnisse und spezifischen Prozesse anzupassen. Mithilfe von Widgets können  relevante Prozessdaten eingeblendet, der Status der angeschlossenen Komponenten angezeigt und häufig anzupassende Parameter zugänglich gemacht werden. So haben Anwender die volle Kontrolle  über ihren Automatisierungsprozess. 

Ask HORST Anything – AI Copilot hilft in allen Lebensphasen der Industrieroboter  

„Unser neues Betriebssystem beinhaltet die fortschrittlichste Technologie und eine tiefe  Integration künstlicher Intelligenz. Es setzt neue Standards für die schnelle Einbindung von Industrierobotern in Prozesse wie beispielsweise die Maschinenbeladung und -entladung,  Qualitätssicherung, Teilevereinzelung oder Klebe- und Dichtmittelauftrag, so Patrick Heimburger.  Mit dem AI Copiloten in horstOS erhalten Anwender einen intelligenten Assistenten, der in natürlicher  Sprache in Echtzeit dabei unterstützt, die Herausforderungen der Automatisierung erfolgreich zu  bewältigen. Ob bei der Einrichtung des Roboters und weiterer Komponenten, bei der Fehlerbehebung  oder beim Vorschlagen von Programmbausteinen oder gar dem Schreiben ganzer Programme, der AI  Copilot ermöglicht es Anwendern, schnell und präzise Lösungen für ihre Anwendungen zu finden und  den Betrieb reibungslos aufrechtzuerhalten. Möchte der Anwender beispielsweise erfahren, wie er  dem Roboter die von der Kamera ermittelte Teileposition übergeben kann, kann er diese Frage per  Text-Prompt an den AI Copiloten richten und erhält innerhalb weniger Augenblicke den  entsprechenden Code-Baustein.  

Der AI Copilot von fruitcore robotics basiert auf ChatGPT und wurde speziell für die Anforderungen  der Industrie trainiert. Er bietet Anwendern einen umfassenden Zugriff auf alle relevanten  Anleitungen, Supportinhalte und Software-Dokumentationen von fruitcore robotics. Um Anwendern  ein optimales Nutzungserlebnis zu bieten, setzt das Konstanzer Unternehmen auf stetige  Erweiterungen der Fähigkeiten des AI Copiloten. 

Zukunftsorientierte Automatisierung mit horstOS  

Auch der Leistungsumfang von horstOS soll in den kommenden Jahren stetig wachsen. Schon heute  ermöglicht der modulare Aufbau des Betriebssystems, externe Software und Services ohne großen  Aufwand einzubinden. Auch anwenderspezifische Softwareprogramme und -oberflächen von OEMs  können nahtlos integriert werden. „Durch horstOS wird die Zukunft der Automatisierung zur neuen  Realität. Das System bietet umfangreiche Unterstützung, auch bei geringen Kenntnissen, und senkt  

den Aufwand bei Einrichtung, Betrieb und After Sales maßgeblich“, erläutert Jens Riegger,  Geschäftsführer (CEO) von fruitcore robotics. „Unsere intelligenten Industrieroboter sollen unseren  Kunden nicht nur den besten Return-on-Investment auf dem Robotermarkt bieten. Insbesondere vor  dem Hintergrund des allgegenwärtigen Fachkräftemangels sollen sie auch dabei helfen, die  Produktivität zu steigern und wertvolle Zeit einzusparen“, so Jens Riegger. 

fruitcore robotics unveils new operating system with integrated AI  copilot: a big step in industrial automation for more efficiency, user friendliness and time 

Constance, June 28th, 2023 – fruitcore robotics takes industrial automation to a new level with an  innovative operating system that uses the latest AI technology. With horstOS, industrial companies  have a new tool at their disposal that assists them in every step of commissioning entire applications  with the intelligent industrial robot HORST while significantly reducing complexity. With an integrated  AI copilot, industrial companies can increase the efficiency of their production processes and save  time. „Generative AI is driving a transformation of many task areas. The new technology will transform  automation and provide our customers with a whole new automation experience,“ says Patrick  Heimburger, Managing Director (Chief Revenue Officer) of fruitcore robotics.  

The new operating system of fruitcore robotics simplifies and accelerates the configuration and  management of all components involved in the process, the programming as well as the operation of  the finished application. The entire control system of robots, components and existing industrial  processes is carried out via a user-friendly interface through which their interaction is realized even  more easily. horstOS essentially comprises three interconnected areas: the component management  area, the program creation area and the process control system area. These three areas provide users  with all the functions they need to set up and use their overall plants quickly, simple and efficiently.  

In the component management area, users can seamlessly integrate and centrally manage all  components relevant to an overall plant, such as grippers, camera systems and safety systems, thanks  to standardized interfaces. Adding components takes just one click and is possible for all components  that have a web app or a digital interface – regardless of the manufacturer. If status information needs  to be queried for one of the connected components, settings need to be checked or changes need to  be made, this can be implemented straightforward via the robot panel with horstOS as the central  user interface. When users switch to the program creation area, they find themselves in the intuitive  horstFX operating software, in which they create the robot’s program sequence with the integration  of all components. Once the program sequence has been created, it can be started, stopped or  paused in the process control system. The process control system also allows users to customize the  operation and process monitoring to their personal needs and specific processes. Widgets can be used  to show relevant process data, display the status of connected components, and access parameters  that need to be adjusted frequently. This gives users full control over their automation process.

Ask HORST Anything – AI Copilot helps in all life phases of industrial robots  

„Our new operating system incorporates the most advanced technology and deep integration of  artificial intelligence. It sets new standards for the rapid integration of industrial robots into  processes such as machine loading and unloading, quality assurance, parts separation or adhesive  and sealant application, says Patrick Heimburger. With the AI Copilot in horstOS, users get an  intelligent assistant that provides real-time support in natural language to successfully cope the  challenges of automation. Whether setting up the robot and other components, troubleshooting,  or suggesting program blocks or even writing entire programs, AI Copilot enables users to quickly  and accurately find solutions for their applications and keep operations running smoothly. For  example, if the user wants to know how to pass the part position detected by the camera to the  robot, he can address this question to the AI Copilot via text prompt and receive the  corresponding code block within a few moments.  

The AI Copilot from fruitcore robotics is based on ChatGPT and has been specially trained for industry  conditions. It offers users comprehensive access to all relevant instructions, support content and  software documentation from fruitcore robotics. In order to provide users with an optimal user  experience, the Constance-based company focuses on continuous enhancements of the AI Copilot’s  capabilities. 

Future-oriented automation with horstOS  

The scope of horstOS is also expected to grow steadily in the coming years. The modular structure of  the operating system already allows external software and services to be integrated without great  effort. User-specific software programs and interfaces from OEMs can also be seamlessly integrated.  „Through horstOS, the future of automation becomes a new reality. The system offers extensive  support, even for those with little knowledge, and significantly reduces the effort required for setup,  operation and after sales,“ explains Jens Riegger, Managing Director (CEO) of fruitcore robotics. „Our  intelligent industrial robots are not only designed to offer our customers the best return-on investment in the robotics market. Especially against the backdrop of the ubiquitous shortage of  skilled workers, they are also designed to help increase productivity and save valuable time,“ says Jens  Riegger. 

Roboternacht in der Hochschule Bonn-Rhein-Sieg

Dienstag, 30. Mai 2023 – Der Fachbereich Elektrotechnik, Maschinenbau und Technikjournalismus (EMT) der Hochschule Bonn-Rhein-Sieg (H-BRS) lädt von Freitag, 9. Juni, bis Samstag, 10. Juni, zur Roboternacht ein. Innerhalb von 24 Stunden werden Schülerinnen und Schüler einen Roboter bauen und auf einen Parcours schicken. Zuschauerinnen und Zuschauer sind am Samstag ab 13 Uhr zu Wettkampf und Siegerehrung im Audimax auf dem Campus Sankt Augustin willkommen.

Für die Schülerinnen und Schüler geht es darum, einen Roboter zu bauen und zu programmieren. Foto: Irene Rothe

Die Roboternacht richtet sich an Schülerinnen und Schüler der Klassenstufen 5 bis 13, die über Roboter-AGs an ihren Schulen angemeldet werden. Das Event wird, unter der Leitung von Professorin Irene Rothe, von Studierenden des Fachbereichs eigenständig organisiert und betreut. Die Aufgabe für die Schülerinnen und Schüler besteht darin, in weniger als 24 Stunden einen Roboter zu bauen und zu programmieren. Anschließend müssen die Roboter in einem Wettkampf einen Parcours möglichst fehlerfrei durchlaufen. „Roboter sind sehr gut geeignet für das Sammeln von Ingenieur-Erfahrungen: Fehler in der Programmierung werden sofort sichtbar, wodurch das Lernen aus Fehlern möglich wird“, so Professorin Rothe. Den Hintergrund für die Programmieraufgabe bildet die Geschichte um den Luftbändiger Aang, ein Avatar, der die Welt vor der Feuernation retten soll.

Interessierte Zuschauerinnen und Zuschauer können den Wettkampf und die Siegerehrung am Samstag, 10. Juni, ab 13 Uhr im Audimax miterleben.

Roboterbau soll für MINT-Fächer begeistern. Foto: Irene Rothe

Die Roboternächte verfolgen die Intention, Schülerinnen und Schüler spielerisch für Technik und MINT zu begeistern: „Die Kinder brauchen ein Ziel für das Bauen und Programmieren ihrer Roboter. Dafür ist die Roboternacht im Frühsommer ein Highlight. Man kann sich mit anderen Teams bei lustigen und kniffeligen Parcours-Aufgaben messen und um einen Pokal kämpfen“, erklärt Irene Rothe.

Bereits seit 2011 sind die Roboternächte Bestandteil der Lehre im Fachbereich EMT. Die Idee, Studierende in einem Projekt solche Roboternächte planen und organisieren zu lassen, entstand aus einer Kooperation mit der CJD Christophorusschule in Königswinter. So können die Studierenden Projektmanagementerfahrungen sammeln und ihr erlerntes Wissen bei der Umsetzung eines unterhaltsamen, robusten und machbaren Parcours anbringen.

Makeblock mBot Ranger – 3in1 robot building kit 

The Makeblock mBot Ranger is a 3-in-1 robot building kit designed for kids aged 10 years that teaches building and programming robots in a fun and exciting way.

Features

1. Three different robot configurations

  • The mBot Ranger can be configured into three different robots: a robot tank, a three-wheeled racing car, and a self-balancing car. This allows kids to learn about different types of robots and how they work.

2. Programmable

  • The mBot Ranger is programmable using the mBlock software, which is based on Scratch 2.0. This allows kids to learn coding and programming skills in a fun and interactive way.

3. Easy to build

  • The kit is solidly built, mostly metal, and has easy-to-understand architecture. It comes with the tools to build several different iterations and lots of add-ons for customization.

4. Hands-on learning

  • The mBot Ranger combines building and programming, functionality and hands-on learning. This allows kids to learn by doing and to see the results of their work in action.

5. Control from smartphone or tablet

  • The mBot Ranger can be controlled from a smartphone or tablet using Bluetooth if you don’t like to program. This allows kids control their robot from a distance.

6. Great for entry-level coding lessons

  • The mBot Ranger is a great entry-level coding robot kit. It is straightforward and simple to build and control, making it a great choice for kids who are just starting to learn about coding and robotics.

These features make it a versatile and educational tool for teaching kids about robotics and coding.

Hardware

The Makeblock mBot Ranger is an educational robot with powder-coated metal parts and an Arduino compatible mainboard called the Me Auriga. Overall, the Makeblock mBot Ranger comes with a range of hardware and sensors that allow it to navigate, detect obstacles, follow lines, respond to light, and be controlled remotely. Here are some of the hardware and sensors in the kit:

1. Me Auriga mainboard

  • The Me Auriga mainboard is an Arduino-compatible board that provides a wide range of features and interfaces.
  • It is the brain of the robot and allows it to be programmed and controlled.
  • The Me Auriga board integrates various sensors, including a gyro sensor, temperature sensor, sound sensor, and ultrasonic sensor

2. Ultrasonic sensor

  • The mBot Ranger comes with an ultrasonic sensor that can detect obstacles and measure distances.
  • This allows the robot to navigate and avoid obstacles.

3. Line follower sensor

  • The kit also includes a line follower sensor that can detect and follow lines on the ground.
  • This allows the robot to follow a path and stay on course.

4. Light sensor

  • The mBot Ranger has a light sensor that can detect light intensity.
  • This allows the robot to respond to changes in light and to adjust its behavior accordingly.

5. Infrared receiver

  • The kit includes an infrared receiver that allows the robot to receive signals from a remote control.
  • This allows the robot to be controlled from a distance.

6. Gyro sensor

  • The gyro sensor can be used to determine the movement and posture of the robot.
  • It can be used to make a self-balancing robot.

7. Temperature sensor

  • The temperature sensor can be used to measure the temperature of the environment.
  • It can be used to create a robot that responds to changes in temperature.

8. Sound sensor

  • The sound sensor can be used to detect sound intensity.
  • It can be used to create a robot that responds to sound, such as a robot that moves towards a loud noise.

Conclusion

mBot Ranger is a solidly built kit, mostly metal, with easy-to-understand architecture. It comes with the tools to build several different iterations and lots of add-ons for customization. The user manual is excellent and lists out all the components in the kit. The mBlock interface is pretty intuitive, especially if kids have already used Scratch or another block-based language, so kids are likely to be able to work out how to program the Ranger through exploration. Overall, the Makeblock mBot Ranger is easy to use and a great tool for teaching kids about robotics, coding, and hands-on learning.

The Makeblock mBot Ranger is an excellent piece of DIY kit for kids to build different types of robots, write code, and control them from a smartphone or tablet. It is a great tool for teaching kids about robotics, coding, and hands-on learning.

mbot Ranger and more MakeBlock products can be found here.