VRC and VIQC German Masters in Hamburg: German finals of robotics competitions

Hamburg, February 2024: Next week, the final rounds of the VEX robot competitions will take place in Germany. Around 150 students from general education schools and vocational schools from all over Germany meet at the Hamburg University of Applied Sciences (HAW Hamburg) to find out which of the robots they have designed best solves given tasks. The worldwide competitions of the Robotics Education & Competition (REC) Foundation, which is based in the USA, are organized in Germany by the Hamburg-based association roboMINT. 

The Competition Categories

The VEX Robotics Competition (VRC) is open to students from the age of eleven . A team consists of at least two students, it competes in alliances  against other teams. One of the goals of a game is to get as many tripballs as  possible into your own goal or into your own offensive zone. 

As part of the VEX IQ Challenge, students between the ages of eight and 15 can participate. A team consists of at least two students, it competes together with another team. One of the goals of the game is to convert as many blocks as possible into goals. Points are also awarded if the robot is parked in the „Supply Zone“ at the end of a match. 

Through the German Masters, participants can qualify for the VEX Worlds from April 25  to May 3 in Dallas (US state of Texas) with 1,000 teams from 50 countries .

German Masters 

Venue: HAW Hamburg 

Berliner Tor 21, Aula 

Wednesday, 06.03.: VRC, start qualification 1 at 12.30 p.m. 

Thursday, 07.03.: VRC, start qualification 2 at 9.30 a.m., final: 1.00 p.m.

Friday, 08.03.: VIQC, start qualification at 11.00 a.m., final: 3.45 p.m.

Contac persont: 

Ralph Schanz
Chairman of roboMINT e.V.

About the roboMINT e.V.:

It all started in the 2017/2018 season. Together with the student campus dEin Labor of the TU Berlin, roboMINT conducted the first VEX Robotics student competitions in Germany. The first team to qualify for the annual „World Championships“ in the USA was the Heinitz-Gymnasium Rüdersdorf. In the meantime, there are various regional preliminaries and two „Nationals“ (VIQC and VRC) nationwide. Currently, a total of seven teams from Germany can qualify for the „World Championships“ in Dallas each season. 

roboMINT supports and coordinates the nationwide VEX robotics competitions. The association informs and supports the participating teams, the supervisors and the regional organizers. The aim of the association is to promote STEM education in Germany. 

VRC und VIQC German Masters an der HAW: Deutschland-Finale der Robotik-Wettbewerbe

  • 6. bis 8. März 2024, Hamburg
  • Insgesamt 35 Teams treffen in zwei Wettbewerben aufeinander
  • Den Siegern winkt eine Teilnahme an der VEX Robotics World Championship in Dallas

Hamburg, Februar 2024: In der kommenden Woche finden die Endrunden der VEX-Roboterwettbewerbe in Deutschland statt. An der Hochschule für Angewandte  Wissenschaften Hamburg (HAW Hamburg) treffen sich etwa 150 Schüler von  allgemeinbildenden Schulen und Berufsschulen aus ganz Deutschland, um  herausfinden, welcher der von ihnen konstruierten Roboter vorgegebene Aufgaben  am besten löst. Der weltweiten Wettbewerbe der in den USA beheimateten Robotics  Education & Competition (REC) Foundation werden hierzulande vom Hamburger Verein roboMINT organisiert. 

Die Wettbewerbskategorien 

An der VEX Robotics Competition (VRC) können Schüler im Alter ab elf Jahren  teilnehmen. Ein Team besteht aus mindestens zwei Schülern, es tritt in Allianzen  gegen andere Teams an. Ziel eines Spiels ist es unter anderem, so viele Triballs wie  möglich ins eigene Tor oder in die eigene Offensive Zone zu bringen. 

Im Rahmen der VEX IQ Challenge können Schüler im Alter von acht bis 15 Jahren  teilnehmen. Ein Team besteht aus mindestens zwei Schülern, es tritt zusammen mit  einem anderen Team an. Ziel des Spiels ist es unter anderem, möglichst viele Blöcke  in Tore zu verfrachten. Punkte gibt es auch, wenn der Roboter am Ende eines  Matches in der „Supply Zone“ geparkt wird. 

Über die German Masters können sich die Teilnehmer für die VEX Worlds vom 25.  April bis 3. Mai in Dallas (US-Bundesstaat Texas) mit 1.000 Teams aus 50 Ländern  qualifizieren.

German Masters 

Veranstaltungsort: HAW Hamburg 

Berliner Tor 21, Aula 

Mittwoch, 06.03.: VRC, Start Qualifikation 1 um 12.30 Uhr 

Donnerstag, 07.03.: VRC, Start Qualifikation 2 um 9.30 Uhr, Finale: 13.00 Uhr

Freitag, 08.03.: VIQC, Start Qualifikation um 11.00 Uhr, Finale: 15.45 Uhr  

Fachlicher Ansprechpartner: 

Ralph Schanz 
Vorsitzender des roboMINT e.V. 

Über den roboMINT e.V.: 

Begonnen hat alles in der Saison 2017/2018. Zusammen mit dem Schülercampus  dEin Labor der TU Berlin führte roboMINT die ersten VEX Robotics Schülerwettbewerbe in Deutschland durch. Das erste Team, das sich damals für die  alljährlich stattfindenden „Weltmeisterschaften“ in den USA qualifizierte, war das  Heinitz-Gymnasium Rüdersdorf. Mittlerweile gibt es bundesweit diverse regionale  Vorausscheidungen und zwei „Nationals“ (VIQC und VRC). Aktuell können sich pro  Saison insgesamt sieben Teams aus Deutschland für die „Weltmeisterschaften“ in  Dallas qualifizieren. 

roboMINT unterstützt und koordiniert die bundesweit stattfindenden VEX Robotik Wettbewerbe. Der Verein informiert und betreut die teilnehmenden Teams, die  BetreuerInnen und die regionalen Veranstalter. Ziel des Vereins ist die Förderung der  MINT-Bildung in Deutschland. 

Teilnehmer des Qualifikationsturniers in Stuttgart

Mehr als ein tanzender Lautsprecher: Der Playtastic App-programmierbare Roboter

Der Playtastic App-programmierbare Roboter ist ein Spielzeug, das nicht nur Spaß macht, sondern auch die Kreativität und das technische Verständnis fördert. Mit der kostenlosen App für iOS und Android kann man den Roboter fernsteuern und programmieren, um ihm über 130 verschiedene Bewegungen beizubringen. Der Roboter kann auch als Lautsprecher verwendet werden, um Musik von einem Smartphone oder einer Speicherkarte abzuspielen. Dabei tanzt er passend zur Musik und leuchtet mit seinen Augen in verschiedenen Farben.

Der Roboter ist aus Kunststoff gefertigt und hat eine Größe von 17,8 x 11,2 x 8,4 cm. Er wiegt 326 g und ist somit leicht zu transportieren. Er verfügt über einen Li-Ion-Akku mit 1.800 mAh, der per USB-C geladen wird und bis zu 4 Stunden Laufzeit bietet. Im Test konnte ich diese Laufzeit erreichen und somit bestätigen. Der Roboter hat vier Bedientasten für die Musik-Steuerung, einen Steckplatz für eine microSD-Karte bis 32 GB, wobei auch größere Karten bei mir funktionierten (getestet, obwohl ich keine SD Karte benötigte, da ich hauptsächlich per Bluetooth gestreamt habe) und einen Lautsprecher mit einer Ausgangsleistung von 5 Watt. Er hat außerdem zwei Arme und zwei Beine, die sich in verschiedene Richtungen bewegen können. Seine Augen bestehen aus LEDs, die in sieben verschiedenen Farben leuchten können.

Die App für den Roboter ist einfach zu bedienen und bietet verschiedene Funktionen. Ich habe auf einem Poco F3, also einem Android Gerät, problemlos getestet. Man kann den Roboter per Bluetooth mit dem Smartphone oder Tablet verbinden und ihn dann über eine virtuelle Fernbedienung steuern. Man kann ihn nach vorne, hinten, rechts und links laufen lassen oder ihn drehen. Man kann auch seine Augenfarbe ändern und ihn sprechen lassen. Die App bietet auch eine Programmier-Funktion, mit der man den Roboter eigene Tänze lernen lassen kann. Man kann aus einer Liste von Bewegungen auswählen und diese in einer bestimmten Reihenfolge anordnen. Man kann auch die Musik, den Rhythmus, die Geschwindigkeit und die Augenfarbe festlegen. Die App zeigt dann eine Vorschau des Tanzes an und man kann ihn speichern oder direkt ausführen lassen. Er ist zwar noch nicht ganz als „Let’s Dance“ Kandidat qualifiziert oder so agil wie Atlas von Boston Dynamics, ist aber eine nett anzuschauende Unterhaltung beim Musik hören; irgendwie putzig. Vor allem jüngere Nutzer werden beeindruckt sein. Die App hat auch eine Musik-Funktion, mit der man Musik von einem Smartphone oder einer Speicherkarte abspielen kann. Der Roboter tanzt dann automatisch zur Musik und leuchtet mit seinen Augen.

Der Playtastic App-programmierbare Roboter ist ein unterhaltsames und lehrreiches Spielzeug, das Kinder und Erwachsene gleichermaßen begeistert. Er bietet viele Möglichkeiten, um den Roboter und seine Tänze individuell zu gestalten und ihm neue Fähigkeiten beizubringen. Die einen werden ihn hauptsächlich als interaktiven Lautsprecher sehen, während die anderen den lustigen Roboter-Begleiter in ihm sehen. Der Roboter ist robust und somit hoffentlich langlebig und hat ein gutes Preis-Leistungs-Verhältnis. Er ist eine tolle Geschenkidee für alle, die sich für Robotik interessieren oder einfach nur Spaß haben wollen beim Musikhören. Der Playtastic App-programmierbare Roboter ist sowohl als interaktiver Lautsprecher als auch Roboter-Spielzeug überzeugend.

Der Roboter ist hier bei Pearl erhältlich, der Preis liegt aktuell um die 50€:
https://www.pearl.de/mtrkw-12360-programmierbare-roboter-mit-lautsprecher-bluetooth-und-app.shtml

Auf dem Weg zur Meisterschaft: RoboCup Junior findet bei igus in Köln statt

Experte für kostengünstige Robotik ist Gastgeber für Roboter-Wettbewerb

Köln, 16. Januar 2024 – Am Samstag, den 27. Januar 2024, öffnet igus in Köln seine Tore für den RoboCup Junior-Wettbewerb. Schülerinnen und Schüler aus dem Rheinland treten hier mit ihren selbstgebauten Robotern in verschiedenen Disziplinen gegeneinander an, um sich für die Qualifikation für die Deutsche Meisterschaft vorzubereiten. Interessierte Zuschauer und Pressevertreter sind herzlich willkommen.

Fußballspielen und simulierte Rettungseinsätze mit Robotern stehen am 27. Januar 2024 in Köln ganz im Mittelpunkt. Denn dort findet die Generalprobe des RoboCup Juniors bei igus in Porz-Lind statt. Dabei handelt es sich um den größten internationalen Robotik-Wettbewerb für Schülerinnen und Schüler im Alter von 10 bis 19 Jahren. Er hat das Ziel, die Fächer Mathematik, Informatik, Naturwissenschaft und Technik populärer zu machen. Die teilnehmenden Schülerinnen und Schüler treten mit ihren selbstgebauten Robotern in verschiedenen Wettkämpfen an. Erstmalig ist die igus GmbH Gastgeber für die Generalprobe des NRW-Qualifikationsturniers. Die Idee dazu hatte Winfried Schmitz. Der Lehrer für Physik und Mathematik an der Christophorusschule Königswinter organisiert seit mehreren Jahren den Wettbewerb: „igus ist als Robotikexperte und Unterstützer der unterschiedlichen Roboterligen bekannt. So kamen wir auf die Idee, igus als Gastgeber für unsere Generalprobe anzufragen.“ igus selbst entwickelt, testet, produziert und vertreibt mit seinem Geschäftsbereich Low-Cost-Automation kostengünstige Automatisierungs- und Roboterlösungen und setzt dabei auf Kunststoff. Vor Ort können die jungen Teilnehmer direkt echte Industrieluft schnuppern, unterschiedliche Robotik-Kinematiken kennenlernen und sich von den Robotik-Experten beraten lassen. „Es ist wichtig, dass die Schüler vor dem Qualifikationsturnier ihre Roboter in einer Wettkampfumgebung testen und Fehler ausmerzen. Außerdem bietet die Veranstaltung uns die Möglichkeit, unsere Schiedsrichter zu schulen“, so Schmitz. Alexander Mühlens, Geschäftsbereichsleiter Low-Cost-Automation bei igus, freut sich über seine Gastgeberrolle: „Bereits seit mehreren Jahren engagiert sich igus im Rahmen seines young engineers supports beim RoboCup, sowohl mit kostenlosen Produkten als auch mit finanziellen Sponsorings. Uns liegt die Förderung des Roboternachwuchses sehr am Herzen und dafür benötigen wir Technikinteressierte Schüler. Daher sind wir nicht nur Sponsor der RoboCup Teams, sondern unterstützen weitere Veranstaltungen wie den Smart Green Island Makeathon.” Ein weiteres spannendes Projekt von igus war auch die Entwicklung eines humanoiden Open-Source Roboters mit der Universität Bonn. Der für Bildungs- und Forschungszwecke entwickelte Roboter mit dem Namen NimbRo basiert dabei auf ROS und wurde komplett im 3D-Druck hergestellt. Der Roboter feierte große Erfolge beim RoboCup, so gewann er 2015 den ersten RoboCup Design Award, 2016 und 2017 erhielt er den Preis direkt in mehreren Kategorien.

22 Teams treten mit ihren Robotern gegeneinander an

22 Teams haben sich für die Generalprobe bereits angemeldet. Mit dabei ist die Christophorusschule Königswinter, das Albert-Einstein-Gymnasium in St. Augustin, das Heinrich Böll Gymnasium aus Troisdorf, die Bertold Brecht Gesamtschule aus Bonn, das Engelbert von Berg Gymnasium aus Wipperfürth sowie das Städtische Gymnasium Haan. Die Teilnehmenden reichen von Fünftklässlern bis zu Oberstufenschülerinnen und -schülern. Die Wettbewerbe beginnen um 10 Uhr, die Siegerehrung ist für 16:30 Uhr geplant. Die besten deutschen Junior-Teams qualifizieren sich über eines von acht Qualifikationsturnieren für die Deutsche Meisterschaft in Kassel. Die erfolgreichsten Teams haben außerdem die Chance an der Weltmeisterschaft 2024 in Eindhoven oder an der Europameisterschaft in Deutschland teilzunehmen.

Playtastic Spielzeug-Roboter-Bausatz: Spielspaß, Lernen und Kreativität

Der Playtastic Spielzeug-Roboter-Bausatz mit Bluetooth und App stellt eine faszinierende Verbindung von Spielspaß und Bildung dar. Dieser innovative Bausatz ermöglicht es Kindern und Erwachsenen, nicht nur einen eigenen Roboter zu bauen, sondern auch die Grundlagen der Programmierung auf spielerische Weise zu erlernen.

Der Bausatz kommt mit einer klaren, bebilderten Anleitung, die den Zusammenbau Schritt für Schritt erklärt. Bastelfreudige Kinder, Eltern oder Großeltern können sich gemeinsam am Aufbau des Roboters erfreuen, indem sie die Einzelteile miteinander verbinden und so ein faszinierendes Robotikprojekt zum Leben erwecken. Mit einer Größe von etwa 19 x 28 x 19 cm und einem Gewicht von 810 g ist der Roboter handlich und gleichzeitig beeindruckend.

Ein herausragendes Merkmal dieses Roboters ist die Integration von Bluetooth-Technologie und einer kostenlosen App für Android und iOS. Diese Funktionalitäten eröffnen vielfältige Möglichkeiten: Nutzer können den Roboter nicht nur programmieren, sondern auch direkt über ein Smartphone oder Tablet steuern. Die App bietet eine benutzerfreundliche Oberfläche, die sowohl das Programmieren als auch die Live-Steuerung des Roboters ermöglicht.

Der Roboter selbst verfügt über vielseitige Bewegungsmöglichkeiten, darunter Vorwärts- und Rückwärtsbewegungen, Drehungen im Kreis sowie tänzerische Einlagen. Ein Greifarm, der in der Lage ist, Gegenstände wie Getränkedosen aufzunehmen und festzuhalten, erweitert die Funktionalität des Roboters und bietet zusätzlichen Spielspaß.

Besonders beeindruckend ist das Gesicht des Roboters, das mit LED-Augen und -Mund ausgestattet ist. Diese Details ermöglichen es dem Roboter, Gefühle auszudrücken, sei es durch fröhliche Mimik während des Tanzens oder durch einen griesgrämigen Gesichtsausdruck in anderen Situationen. Dies verleiht dem Roboter eine persönliche Note und fördert die emotionale Verbindung der Nutzer zu ihrem selbstgebauten Roboterfreund.

Die Möglichkeit, den Roboter mit einfachen Programmierbefehlen zu steuern und ihn auf kreative Weise zum Leben zu erwecken, macht den Playtastic Spielzeug-Roboter-Bausatz zu einem lehrreichen und unterhaltsamen Erlebnis für Kinder und Erwachsene gleichermaßen. Die Verbindung von Technologie, kreativem Basteln und spielerischem Lernen macht diesen Bausatz zu einer empfehlenswerten Option für alle, die ihre Begeisterung für Robotik entdecken möchten.

https://www.pearl.de/mtrkw-12254-programmierbare-roboter-bausaetze-mit-bluetooth-und-apps.shtml

Cybersicherheit in Zeiten der KI – Expertentalk im Deutschen Museum Bonn

Das Deutsche Museum Bonn erfindet sich gerade neu und entwickelt sich mit großen Schritten zu einem innovativen und lebendigen Informationsforum zum Thema Künstliche Intelligenz. Das Ziel der „Mission KI“: Die Besucherinnen und Besucher aktiv in die Vermittlung und in die Diskussion rund um die Künstliche Intelligenz einzubeziehen. Dies geschieht nicht nur in der rundumerneuerten Ausstellung mit vielen Mitmachstationen, sondern auch regelmäßig in Form von Vorträgen und Diskussionsrunden mit namhaften Experten und Expertinnen.

Am 9.November 2023 lud das Deutsche Museum Bonn wieder zum „KI-Talk“ ein, der diesmal unter dem Motto „Cybersicherheit in Zeiten der KI“ stand. Als Talkgäste diskutierten Prof. Ulrich Kelber (Bundesbeauftragter für den Datenschutz und die Informationsfreiheit), Thomas Tschersich (Chief Security Officer Deutsche Telekom AG), Journalistin und Autorin Eva Wolfangel („Ein falscher Klick“) und Oberst Guido Schulte vom Cyber- und Informationsraum der Bundeswehr) über gängige Bedrohungen im Netz, den Schutz unserer Daten, den Einsatz Künstlicher Intelligenz in der Cybersicherheit und vieles mehr. Moderiert wurde das in Kooperation mit dem Cyber Security Cluster Bonn veranstaltete Event von „Quarks“-Moderatorin Florence Randrianarisoa.

Die sehr interessante und lebhafte Talkrunde mit einem sehr interessierten Publikum im vollbesetzten Museum wurde live im YouTube-Kanal des Fördervereins WISSENschaf(f)t SPASS übertragen und ist dort weiterhin als Aufzeichnung zu sehen:

Makeblock mBot Ultimate 10-in-1 Robot Building Kit

In der sich ständig weiterentwickelnden Landschaft der Bildungsrobotik sticht der Makeblock mBot Ultimate als vielseitiges und umfassendes Werkzeug hervor, das die Art und Weise revolutioniert, wie Schüler MINT-Konzepte (Wissenschaft, Technologie, Ingenieurwesen und Mathematik) erlernen. Dieser multifunktionale Roboterbausatz kombiniert Kreativität, praktisches Lernen und technologische Innovation und bietet sowohl Anfängern als auch fortgeschrittenen Nutzern ein tiefgreifendes Erlebnis.

Design und Komponenten: Der mBot Ultimate verfügt über ein modulares Design, das es den Benutzern ermöglicht, den Roboter nach ihren Wünschen zusammenzubauen und anzupassen. Mit über zehn verschiedenen Formen, darunter ein Kettenfahrzeug mit Roboterarm, ein dreirädriges Rennauto und ein selbstbalancierendes zweirädriges Fahrzeug, regt dieser Bausatz die Kreativität an, indem er die Benutzer dazu ermutigt, verschiedene Konfigurationen zu erkunden.

Mit einer breiten Palette von Komponenten wie Motoren, Sensoren (einschließlich Ultraschall-, Gyroskop- und Lichtsensoren), Greifer und einer Vielzahl mechanischer Teile erleichtert der mBot Ultimate ein ganzheitliches Verständnis von Robotik und Programmierung. Seine Kompatibilität mit der Arduino-Plattform bietet eine umfassende Programmierumgebung, die es den Benutzern ermöglicht, tiefer in die Programmierung und Robotik einzusteigen.

Makeblock-Bausätze: Robotik-Bausätze, wie z. B. die mBot-Serie, bieten den Benutzern vielseitige Plattformen zum Bauen, Programmieren und Anpassen von Robotern. Diese Bausätze eignen sich für verschiedene Fähigkeitsstufen, von Anfängern bis hin zu Fortgeschrittenen, und ermöglichen es den Benutzern, die Robotik durch praktische Erfahrungen zu erkunden.

Innovation und Zukunftsorientierung: Makeblock ist bekannt für seine Innovationskraft und entwickelt sein Produktangebot ständig weiter, indem es die neuesten technologischen Entwicklungen integriert, um an der Spitze der Bildungsrobotik zu agieren. Das Unternehmen ist stets bestrebt, Lernende, Pädagogen und Innovatoren zu befähigen, Technologie, Kreativität und Problemlösungsfähigkeiten zu nutzen. Makeblock ist ein Pionier in der Bereitstellung zugänglicher, innovativer und umfassender Robotiklösungen für den Unterricht. Makeblock bietet eine breite Palette von Produkten, Bildungsressourcen und eine unterstützende Community an, um Lernende aller Altersgruppen zu inspirieren, die Bereiche Robotik und Technologie zu erforschen.

Pädagogischer Wert: Eine der herausragenden Eigenschaften des mBot Ultimate für die Nutzung im Unterricht. Er dient als außergewöhnliches Lernwerkzeug für Studenten, Pädagogen und Hobbyisten gleichermaßen. Durch seine benutzerfreundliche Software und Programmierschnittstelle können die Benutzer grundlegende Programmierkonzepte durch grafische Programmierung erfassen oder zu textbasierten Programmiersprachen wie Python übergehen, um ihre Fähigkeiten weiter zu verbessern.

Die Vielseitigkeit des Roboters ermöglicht es den Benutzern, ihn in Aktivitäten einzubinden, die von einfacher Hindernisvermeidung bis hin zu komplexen KI-Anwendungen reichen. Dank dieser Anpassungsfähigkeit eignet er sich für eine Vielzahl von Alters- und Fähigkeitsstufen und fördert so eine interaktive Lernumgebung.

Praktische Lernerfahrung: Der mBot Ultimate bietet einen praktischen Ansatz zum Lernen, der zum Experimentieren und Problemlösen anregt. Durch das Zusammenbauen und Anpassen des Roboters werden nicht nur mechanische Konzepte gelehrt, sondern auch das kritische Denken und die Fähigkeiten zur Fehlersuche gefördert. Die Benutzer können die direkten Auswirkungen ihrer Programmierung auf die Aktionen des Roboters beobachten, was das Verständnis von Ursache-Wirkungs-Beziehungen bei der Programmierung fördert.

Schlussfolgerung: Im Grunde ist der Makeblock mBot Ultimate mehr als nur ein Roboterbausatz. Seine Anpassungsfähigkeit, sein pädagogischer Wert und sein praktischer Lernansatz machen ihn zu einem herausragenden Werkzeug im Bereich der Bildungsrobotik auf Augenhöhe mit z.B: LEGO MINDSTORMS oder VEX Robotics Produkten.

Ob im Klassenzimmer, in Robotik-Clubs oder im Kinderzimmer, der mBot Ultimate inspiriert und befähigt Enthusiasten, die unendlichen Möglichkeiten der Robotik und Programmierung zu erkunden

Robot plays „Rock, Paper, Scissors“ – Part 1/3

Gesture recognition with intelligent camera

I am passionate about technology and robotics. Here in my own blog, I am always taking on new tasks. But I have hardly ever worked with image processing. However, a colleague’s LEGO® MINDSTORMS® robot, which can recognize the rock, paper or scissors gestures of a hand with several different sensors, gave me an idea: „The robot should be able to ’see‘.“ Until now, the respective gesture had to be made at a very specific point in front of the robot in order to be reliably recognized. Several sensors were needed for this, which made the system inflexible and dampened the joy of playing. Can image processing solve this task more „elegantly“?

Rock-Paper-Scissors with Robot Inventor by Seshan Brothers. The robot which inspired me for this project

From the idea to implementation

In my search for a suitable camera, I came across IDS NXT – a complete system for the use of intelligent image processing. It fulfilled all my requirements and, thanks to artificial intelligence, much more besides pure gesture recognition. My interest was woken. Especially because the evaluation of the images and the communication of the results took place directly on or through the camera – without an additional PC! In addition, the IDS NXT Experience Kit came with all the components needed to start using the application immediately – without any prior knowledge of AI.

I took the idea further and began to develop a robot that would play the game „Rock, Paper, Scissors“ in the future – with a process similar to that in the classical sense: The (human) player is asked to perform one of the familiar gestures (scissors, stone, paper) in front of the camera. The virtual opponent has already randomly determined his gesture at this point. The move is evaluated in real time and the winner is displayed.

The first step: Gesture recognition by means of image processing

But until then, some intermediate steps were necessary. I began by implementing gesture recognition using image processing – new territory for me as a robotics fan. However, with the help of IDS lighthouse – a cloud-based AI vision studio – this was easier to realize than expected. Here, ideas evolve into complete applications. For this purpose, neural networks are trained by application images with the necessary product knowledge – such as in this case the individual gestures from different perspectives – and packaged into a suitable application workflow.

The training process was super easy, and I just used IDS Lighthouse’s step-by-step wizard after taking several hundred pictures of my hands using rock, scissor, or paper gestures from different angles against different backgrounds. The first trained AI was able to reliably recognize the gestures directly. This works for both left- and right-handers with a recognition rate of approx. 95%. Probabilities are returned for the labels „Rock“, „Paper“, „Scissor“, or „Nothing“. A satisfactory result. But what happens now with the data obtained?

Further processing

The further processing of the recognized gestures could be done by means of a specially created vision app. For this, the captured image of the respective gesture – after evaluation by the AI – must be passed on to the app. The latter „knows“ the rules of the game and can thus decide which gesture beats another. It then determines the winner. In the first stage of development, the app will also simulate the opponent. All this is currently in the making and will be implemented in the next step to become a „Rock, Paper, Scissors“-playing robot.

From play to everyday use

At first, the project is more of a gimmick. But what could come out of it? A gambling machine? Or maybe even an AI-based sign language translator?

To be continued…