All the robots at Epson Industrial Solutions Center+! Robots-Blog meets Epson Robots at Epson ISC+
Antworten
Archiv der Kategorie: Video
Unidice: The Future of Gaming, Gamification and Smart Home Integration
The gaming world is on the cusp of a groundbreaking revolution with the introduction of the unidice, a new console that promises to redefine our understanding of games and gamification. This innovative device, blending cutting-edge technology with traditional gaming fun, offers a rich gaming experience and opens the door to a wide range of gamification applications. Furthermore, the unidice’s integration of generative AI in some of their Apps, particularly within the Tale Spinner application, along with a machine learning core that powers its Inertial Measurement Unit (IMU), signals a leap toward more interactive and intelligent gaming and beyond. An especially notable feature is its compatibility with the Matter protocol, thanks to its new and improved processor, making it an ideal tool for smart home management.
The Unidice: A Nexus of Hybrid Gaming
At its heart, the unidice is an electronic dice featuring six touch displays, a processor, a gyroscope, and dual storage systems, designed to facilitate seamless communication via Bluetooth with smartphones and tablets. This capability allows for a hybrid gaming experience that combines the physical pleasure of rolling dice with the limitless possibilities of digital innovation. Beyond enhancing traditional gaming experiences, this feature significantly broadens the horizon for gamification in various domains, including education and sports. Moreover, with its compatibility with the Matter protocol, the unidice also steps into the realm of smart home technology, offering users a unique and interactive way to control and automate their home environments.
Unidice and Robotics: Pioneering Smart Device Interaction
In a notable showcase of its expansive capabilities, the unidice demonstrated control over a car provided by fishertechnik, highlighting its potential in robotics and smart device interaction. This feature is a testament to the versatility of the unidice, illustrating its capacity to extend beyond gaming and home automation into the realm of educational robotics and interactive learning. By integrating with physical devices, the unidice opens up new possibilities for gamification and educational applications, offering a hands-on approach to technology and engineering concepts. To witness this remarkable feature in action, explore the video from the convention where unidice displays the new features, games, and notably, the car control.
Generative AI and Tale Spinner: A New Chapter in Storytelling
The unidice revolutionizes storytelling through its Tale Spinner application, which uses generative AI to create personalized stories for children. By rolling the dice and selecting main topics, kids can generate new story segments narrated by an AI voice, powered by GPT-4 Turbo and Whisper. This innovative use of generative AI transforms the unidice from a mere gaming console into a dynamic storytelling companion, encouraging creativity and a love for reading in young users.
Machine Learning and the IMU: Enhancing Interaction The unidice incorporates a machine learning core within its IMU, enabling it to „learn“ new input methods (thanks to firmware updates) and improve its movement and orientation detection. This advancement makes interactions more intuitive and responsive, paving the way for more immersive gaming and gamification applications.
Smart Home Integration: The Matter Protocol Advantage
The unidice’s ability to use the Matter protocol, enabled by its advanced processor, marks a significant development in smart home integration. This feature allows the unidice to act as a smart home controller, providing a novel and interactive method for managing and automating home environments. Through simple gestures, taps, tilts and rolls, users can control lighting, temperature, and other smart devices, making the unidice a central hub for both entertainment and home management.
The unidice exemplifies the convergence of gaming, artificial intelligence, robotics, and smart home technology, heralding a new era of interactive entertainment and practical utility. Its fusion of physical gaming with digital innovation, powered by generative AI and machine learning, positions it as a pioneering console in not only the gaming industry but also in the broader context of smart living. As we move forward, the unidice stands as a pioneer to the potential of blending traditional gaming elements with the latest technological advancements to create experiences that are entertaining, educational, and enriching, while also seamlessly integrating into our daily lives through smart home technology.
Discover more about unidice and secure your own by visiting their website at www.unidice.world and preordering at https://unidice.stimulus-games.com/.
Mehr als ein tanzender Lautsprecher: Der Playtastic App-programmierbare Roboter
Der Playtastic App-programmierbare Roboter ist ein Spielzeug, das nicht nur Spaß macht, sondern auch die Kreativität und das technische Verständnis fördert. Mit der kostenlosen App für iOS und Android kann man den Roboter fernsteuern und programmieren, um ihm über 130 verschiedene Bewegungen beizubringen. Der Roboter kann auch als Lautsprecher verwendet werden, um Musik von einem Smartphone oder einer Speicherkarte abzuspielen. Dabei tanzt er passend zur Musik und leuchtet mit seinen Augen in verschiedenen Farben.
Der Roboter ist aus Kunststoff gefertigt und hat eine Größe von 17,8 x 11,2 x 8,4 cm. Er wiegt 326 g und ist somit leicht zu transportieren. Er verfügt über einen Li-Ion-Akku mit 1.800 mAh, der per USB-C geladen wird und bis zu 4 Stunden Laufzeit bietet. Im Test konnte ich diese Laufzeit erreichen und somit bestätigen. Der Roboter hat vier Bedientasten für die Musik-Steuerung, einen Steckplatz für eine microSD-Karte bis 32 GB, wobei auch größere Karten bei mir funktionierten (getestet, obwohl ich keine SD Karte benötigte, da ich hauptsächlich per Bluetooth gestreamt habe) und einen Lautsprecher mit einer Ausgangsleistung von 5 Watt. Er hat außerdem zwei Arme und zwei Beine, die sich in verschiedene Richtungen bewegen können. Seine Augen bestehen aus LEDs, die in sieben verschiedenen Farben leuchten können.
Die App für den Roboter ist einfach zu bedienen und bietet verschiedene Funktionen. Ich habe auf einem Poco F3, also einem Android Gerät, problemlos getestet. Man kann den Roboter per Bluetooth mit dem Smartphone oder Tablet verbinden und ihn dann über eine virtuelle Fernbedienung steuern. Man kann ihn nach vorne, hinten, rechts und links laufen lassen oder ihn drehen. Man kann auch seine Augenfarbe ändern und ihn sprechen lassen. Die App bietet auch eine Programmier-Funktion, mit der man den Roboter eigene Tänze lernen lassen kann. Man kann aus einer Liste von Bewegungen auswählen und diese in einer bestimmten Reihenfolge anordnen. Man kann auch die Musik, den Rhythmus, die Geschwindigkeit und die Augenfarbe festlegen. Die App zeigt dann eine Vorschau des Tanzes an und man kann ihn speichern oder direkt ausführen lassen. Er ist zwar noch nicht ganz als „Let’s Dance“ Kandidat qualifiziert oder so agil wie Atlas von Boston Dynamics, ist aber eine nett anzuschauende Unterhaltung beim Musik hören; irgendwie putzig. Vor allem jüngere Nutzer werden beeindruckt sein. Die App hat auch eine Musik-Funktion, mit der man Musik von einem Smartphone oder einer Speicherkarte abspielen kann. Der Roboter tanzt dann automatisch zur Musik und leuchtet mit seinen Augen.
Der Playtastic App-programmierbare Roboter ist ein unterhaltsames und lehrreiches Spielzeug, das Kinder und Erwachsene gleichermaßen begeistert. Er bietet viele Möglichkeiten, um den Roboter und seine Tänze individuell zu gestalten und ihm neue Fähigkeiten beizubringen. Die einen werden ihn hauptsächlich als interaktiven Lautsprecher sehen, während die anderen den lustigen Roboter-Begleiter in ihm sehen. Der Roboter ist robust und somit hoffentlich langlebig und hat ein gutes Preis-Leistungs-Verhältnis. Er ist eine tolle Geschenkidee für alle, die sich für Robotik interessieren oder einfach nur Spaß haben wollen beim Musikhören. Der Playtastic App-programmierbare Roboter ist sowohl als interaktiver Lautsprecher als auch Roboter-Spielzeug überzeugend.
Der Roboter ist hier bei Pearl erhältlich, der Preis liegt aktuell um die 50€:
https://www.pearl.de/mtrkw-12360-programmierbare-roboter-mit-lautsprecher-bluetooth-und-app.shtml
Experience the Future of Companionship with Doly, Launched by Limitbit soon on Kickstarter
Limitbit, a pioneer in AI powered companion technology, has announced the launch of its groundbreaking product, Doly, on Kickstarter. As of today, Doly has already captured the imagination of tech enthusiasts and educators, raising significant interest ahead of its official Kickstarter launch scheduled for February 13, 2024.
Doly, launch day special priced at $289, is an autonomous AI-powered companion robot that seamlessly integrates robotics, AI, and coding education into one dynamic device. It is the first of its kind to offer an open hardware and open design, powered by Raspberry Pi, allowing customization and continual evolution in capabilities.
„Doly represents a fusion of companionship, education, and technological innovation,“ says Levent Erenler, founder of Limitbit. „It’s designed to grow and adapt, offering an engaging experience for all ages and skill levels. Our open-source approach places Doly at the forefront of personal robotic innovation.“
Product highlights of Doly include:
● Self-acting Personality: A unique character that develops and evolves through interaction, offering a personalized experience.
● Edge AI Processing: Ensuring maximum privacy, Doly’s AI algorithms operate locally, without relying on cloud processing, safeguarding user data.
● STEM Education Enabler: Doly serves as an engaging tool for learning coding and robotics, catering to both beginners and advanced users.
● Open-Source Platform: Users can innovate and customize Doly, thanks to its open hardware and open design, fostering a community-driven approach to technological advancement.
● Extensive Add-On Support: Featuring a range of I/O ports, Doly offers extensive opportunities for expansion and customization, perfect for developers and hobbyists.
● 3D Printable Design: Emphasizing its customizable nature, Doly can be personalized with 3D printed parts, allowing users to tailor its appearance and functions.
Targeted towards a wide audience that includes robot lovers, parents, children, software and hardware developers, and open-source enthusiasts, Doly is positioned as the ultimate educational and interactive robot companion.
„Doly is not just a product; it’s a step towards a future where technology enhances every aspect of learning and daily living,“ added Levent Erenler. „Its ability to engage users in coding, robotics, and AI, while also serving as a companion robot, sets a new benchmark in the field.“
About Limitbit:
Based in Markham, Ontario, Limitbit is dedicated to revolutionizing AI powered companion robots. Their mission is to blend cutting-edge technology with practical, educational applications, making advanced robotics accessible to everyone.
For more information about Doly and to participate in the Kickstarter campaign, click here.
Playtastic Spielzeug-Roboter-Bausatz: Spielspaß, Lernen und Kreativität
Der Playtastic Spielzeug-Roboter-Bausatz mit Bluetooth und App stellt eine faszinierende Verbindung von Spielspaß und Bildung dar. Dieser innovative Bausatz ermöglicht es Kindern und Erwachsenen, nicht nur einen eigenen Roboter zu bauen, sondern auch die Grundlagen der Programmierung auf spielerische Weise zu erlernen.
Der Bausatz kommt mit einer klaren, bebilderten Anleitung, die den Zusammenbau Schritt für Schritt erklärt. Bastelfreudige Kinder, Eltern oder Großeltern können sich gemeinsam am Aufbau des Roboters erfreuen, indem sie die Einzelteile miteinander verbinden und so ein faszinierendes Robotikprojekt zum Leben erwecken. Mit einer Größe von etwa 19 x 28 x 19 cm und einem Gewicht von 810 g ist der Roboter handlich und gleichzeitig beeindruckend.
Ein herausragendes Merkmal dieses Roboters ist die Integration von Bluetooth-Technologie und einer kostenlosen App für Android und iOS. Diese Funktionalitäten eröffnen vielfältige Möglichkeiten: Nutzer können den Roboter nicht nur programmieren, sondern auch direkt über ein Smartphone oder Tablet steuern. Die App bietet eine benutzerfreundliche Oberfläche, die sowohl das Programmieren als auch die Live-Steuerung des Roboters ermöglicht.
Der Roboter selbst verfügt über vielseitige Bewegungsmöglichkeiten, darunter Vorwärts- und Rückwärtsbewegungen, Drehungen im Kreis sowie tänzerische Einlagen. Ein Greifarm, der in der Lage ist, Gegenstände wie Getränkedosen aufzunehmen und festzuhalten, erweitert die Funktionalität des Roboters und bietet zusätzlichen Spielspaß.
Besonders beeindruckend ist das Gesicht des Roboters, das mit LED-Augen und -Mund ausgestattet ist. Diese Details ermöglichen es dem Roboter, Gefühle auszudrücken, sei es durch fröhliche Mimik während des Tanzens oder durch einen griesgrämigen Gesichtsausdruck in anderen Situationen. Dies verleiht dem Roboter eine persönliche Note und fördert die emotionale Verbindung der Nutzer zu ihrem selbstgebauten Roboterfreund.
Die Möglichkeit, den Roboter mit einfachen Programmierbefehlen zu steuern und ihn auf kreative Weise zum Leben zu erwecken, macht den Playtastic Spielzeug-Roboter-Bausatz zu einem lehrreichen und unterhaltsamen Erlebnis für Kinder und Erwachsene gleichermaßen. Die Verbindung von Technologie, kreativem Basteln und spielerischem Lernen macht diesen Bausatz zu einer empfehlenswerten Option für alle, die ihre Begeisterung für Robotik entdecken möchten.
https://www.pearl.de/mtrkw-12254-programmierbare-roboter-bausaetze-mit-bluetooth-und-apps.shtml
Cybersicherheit in Zeiten der KI – Expertentalk im Deutschen Museum Bonn
Das Deutsche Museum Bonn erfindet sich gerade neu und entwickelt sich mit großen Schritten zu einem innovativen und lebendigen Informationsforum zum Thema Künstliche Intelligenz. Das Ziel der „Mission KI“: Die Besucherinnen und Besucher aktiv in die Vermittlung und in die Diskussion rund um die Künstliche Intelligenz einzubeziehen. Dies geschieht nicht nur in der rundumerneuerten Ausstellung mit vielen Mitmachstationen, sondern auch regelmäßig in Form von Vorträgen und Diskussionsrunden mit namhaften Experten und Expertinnen.
Am 9.November 2023 lud das Deutsche Museum Bonn wieder zum „KI-Talk“ ein, der diesmal unter dem Motto „Cybersicherheit in Zeiten der KI“ stand. Als Talkgäste diskutierten Prof. Ulrich Kelber (Bundesbeauftragter für den Datenschutz und die Informationsfreiheit), Thomas Tschersich (Chief Security Officer Deutsche Telekom AG), Journalistin und Autorin Eva Wolfangel („Ein falscher Klick“) und Oberst Guido Schulte vom Cyber- und Informationsraum der Bundeswehr) über gängige Bedrohungen im Netz, den Schutz unserer Daten, den Einsatz Künstlicher Intelligenz in der Cybersicherheit und vieles mehr. Moderiert wurde das in Kooperation mit dem Cyber Security Cluster Bonn veranstaltete Event von „Quarks“-Moderatorin Florence Randrianarisoa.
Die sehr interessante und lebhafte Talkrunde mit einem sehr interessierten Publikum im vollbesetzten Museum wurde live im YouTube-Kanal des Fördervereins WISSENschaf(f)t SPASS übertragen und ist dort weiterhin als Aufzeichnung zu sehen:
Makeblock mBot Ultimate 10-in-1 Robot Building Kit
In der sich ständig weiterentwickelnden Landschaft der Bildungsrobotik sticht der Makeblock mBot Ultimate als vielseitiges und umfassendes Werkzeug hervor, das die Art und Weise revolutioniert, wie Schüler MINT-Konzepte (Wissenschaft, Technologie, Ingenieurwesen und Mathematik) erlernen. Dieser multifunktionale Roboterbausatz kombiniert Kreativität, praktisches Lernen und technologische Innovation und bietet sowohl Anfängern als auch fortgeschrittenen Nutzern ein tiefgreifendes Erlebnis.
Design und Komponenten: Der mBot Ultimate verfügt über ein modulares Design, das es den Benutzern ermöglicht, den Roboter nach ihren Wünschen zusammenzubauen und anzupassen. Mit über zehn verschiedenen Formen, darunter ein Kettenfahrzeug mit Roboterarm, ein dreirädriges Rennauto und ein selbstbalancierendes zweirädriges Fahrzeug, regt dieser Bausatz die Kreativität an, indem er die Benutzer dazu ermutigt, verschiedene Konfigurationen zu erkunden.
Mit einer breiten Palette von Komponenten wie Motoren, Sensoren (einschließlich Ultraschall-, Gyroskop- und Lichtsensoren), Greifer und einer Vielzahl mechanischer Teile erleichtert der mBot Ultimate ein ganzheitliches Verständnis von Robotik und Programmierung. Seine Kompatibilität mit der Arduino-Plattform bietet eine umfassende Programmierumgebung, die es den Benutzern ermöglicht, tiefer in die Programmierung und Robotik einzusteigen.
Makeblock-Bausätze: Robotik-Bausätze, wie z. B. die mBot-Serie, bieten den Benutzern vielseitige Plattformen zum Bauen, Programmieren und Anpassen von Robotern. Diese Bausätze eignen sich für verschiedene Fähigkeitsstufen, von Anfängern bis hin zu Fortgeschrittenen, und ermöglichen es den Benutzern, die Robotik durch praktische Erfahrungen zu erkunden.
Innovation und Zukunftsorientierung: Makeblock ist bekannt für seine Innovationskraft und entwickelt sein Produktangebot ständig weiter, indem es die neuesten technologischen Entwicklungen integriert, um an der Spitze der Bildungsrobotik zu agieren. Das Unternehmen ist stets bestrebt, Lernende, Pädagogen und Innovatoren zu befähigen, Technologie, Kreativität und Problemlösungsfähigkeiten zu nutzen. Makeblock ist ein Pionier in der Bereitstellung zugänglicher, innovativer und umfassender Robotiklösungen für den Unterricht. Makeblock bietet eine breite Palette von Produkten, Bildungsressourcen und eine unterstützende Community an, um Lernende aller Altersgruppen zu inspirieren, die Bereiche Robotik und Technologie zu erforschen.
Pädagogischer Wert: Eine der herausragenden Eigenschaften des mBot Ultimate für die Nutzung im Unterricht. Er dient als außergewöhnliches Lernwerkzeug für Studenten, Pädagogen und Hobbyisten gleichermaßen. Durch seine benutzerfreundliche Software und Programmierschnittstelle können die Benutzer grundlegende Programmierkonzepte durch grafische Programmierung erfassen oder zu textbasierten Programmiersprachen wie Python übergehen, um ihre Fähigkeiten weiter zu verbessern.
Die Vielseitigkeit des Roboters ermöglicht es den Benutzern, ihn in Aktivitäten einzubinden, die von einfacher Hindernisvermeidung bis hin zu komplexen KI-Anwendungen reichen. Dank dieser Anpassungsfähigkeit eignet er sich für eine Vielzahl von Alters- und Fähigkeitsstufen und fördert so eine interaktive Lernumgebung.
Praktische Lernerfahrung: Der mBot Ultimate bietet einen praktischen Ansatz zum Lernen, der zum Experimentieren und Problemlösen anregt. Durch das Zusammenbauen und Anpassen des Roboters werden nicht nur mechanische Konzepte gelehrt, sondern auch das kritische Denken und die Fähigkeiten zur Fehlersuche gefördert. Die Benutzer können die direkten Auswirkungen ihrer Programmierung auf die Aktionen des Roboters beobachten, was das Verständnis von Ursache-Wirkungs-Beziehungen bei der Programmierung fördert.
Schlussfolgerung: Im Grunde ist der Makeblock mBot Ultimate mehr als nur ein Roboterbausatz. Seine Anpassungsfähigkeit, sein pädagogischer Wert und sein praktischer Lernansatz machen ihn zu einem herausragenden Werkzeug im Bereich der Bildungsrobotik auf Augenhöhe mit z.B: LEGO MINDSTORMS oder VEX Robotics Produkten.
Ob im Klassenzimmer, in Robotik-Clubs oder im Kinderzimmer, der mBot Ultimate inspiriert und befähigt Enthusiasten, die unendlichen Möglichkeiten der Robotik und Programmierung zu erkunden
ABB bietet No-Code-Programmierung mit Wizard Easy Programming ab sofort auch für Industrieroboter
- ABB stellt als erster Hersteller intuitive, blockbasierte No-Code-Programmierung für alle Cobots und Sechsachs-Industrieroboter zur Verfügung
- Erstanwender können ihre kollaborativen Roboter und Industrieroboter kostenlos innerhalb von Minuten programmieren
- Systemintegratoren und erfahrene Anwender können anspruchsvolle Programme für anwendungsspezifische Funktionen entwickeln, mit anderen teilen und anpassen
ABB Robotics hat den Anwendungsbereich seiner kostenfreien Software Wizard Easy Programming für kollaborative Roboter um alle sechsachsigen Industrieroboter erweitert, die mit einer ABB OmniCore™-Steuerung laufen. Damit ist ABB der erste Roboterhersteller, der ein einfach zu bedienendes No-Code-Programmierungstool für Cobots und sechsachsige Industrieroboter anbietet. Dies senkt die Automatisierungshürden für Erstanwender und stellt Ökosystem-Partnern und Integratoren ein effizientes Tool zur Unterstützung ihrer Kunden zur Verfügung.
„Wenn wir den Einsatz von robotergestützter Automatisierung auf globaler Ebene fördern und vorantreiben wollen, müssen wir die Herausforderungen und Chancen der Industrie angehen“, sagt Marc Segura, Leiter der Robotics-Division bei ABB. „Durch die Erweiterung von Wizard Easy Programming um unsere Sechsachs-Industrieroboter reagiert ABB Robotics auf den Fachkräftemangel und die steigende Nachfrage von Fertigungsunternehmen nach einfacher und benutzerfreundlicher Programmiersoftware für ihre Roboterflotten.“
Roboteranwendungen ohne vorherige Schulung erstellen
Wizard Easy Programming nutzt einen grafischen, Drag-and-Drop-basierten No-Code-Programmieransatz, der darauf ausgelegt ist, die Entwicklung von Roboteranwendungen zu vereinfachen. Mit der Software können Erstanwender ebenso wie erfahrene Roboternutzer Anwendungen innerhalb von Minuten erstellen – eine Aufgabe, für die normalerweise eine Woche Schulung und eine weitere Woche Entwicklungsarbeit erforderlich ist. Seit seiner Einführung im Jahr 2020 kommt Wizard Easy Programming in Verbindung mit den kollaborativen ABB-Robotern YuMi, SWIFTI™ und GoFa™ in einer Vielzahl von Anwendungen zum Einsatz.
Die Software bietet Nutzern die Möglichkeit, ohne vorherige Schulung komplette Programme für Anwendungen wie Lichtbogenschweißen oder Maschinenbeschickung zu erstellen. Über eine intuitive grafische Benutzeroberfläche lassen sich bestehende Programme und vorprogrammierte Blöcke zur Steuerung verschiedener Aktionen – von Roboterbewegungen über Signalanweisungen bis hin zur Kraftsteuerung – anpassen, was ein Plus an Flexibilität bietet.
Spezifische Codes für bestimmte Anwendungen effizient generieren
Wizard Easy Programming beinhaltet zudem Skill Creator – ein Tool, das Systemintegratoren und Experten dabei hilft, benutzerdefinierte, anwendungsspezifische Wizard-Blöcke für ihre Kunden zu erstellen. Skill Creator vereinfacht das Erstellen neuer Blöcke für hochspezifische Aufgaben wie die Maschinenbeschickung und das Schweißen, aber auch für diffizile Anwendungen wie medizinische Tests. Ökosystem-Partner, die Zubehör wie Greifer, Zuführsysteme und Kameras entwickeln, erhalten Zugang zu einem digitalen Tool, mit dem sie produktspezifische Funktionalitäten unabhängig von der Art des zu verwendenden Roboters teilen können.
Wizard Easy Programming ist auf allen Cobots und neuen Sechsachs-Industrierobotern vorinstalliert, die mit der OmniCore-Steuerung von ABB laufen. Die führenden Robotersteuerungen der OmniCore-Familie zeichnen sich durch ein Energieeinsparungspotenzial von durchschnittlich 20 Prozent und eine hohe Zukunftssicherheit aus – dank integrierter digitaler Konnektivität und über 1.000 skalierbaren Funktionen.
Mehr Informationen über Wizard Easy Programming stehen hier zur Verfügung.
Robot plays „Rock, Paper, Scissors“ – Part 1/3
Gesture recognition with intelligent camera
I am passionate about technology and robotics. Here in my own blog, I am always taking on new tasks. But I have hardly ever worked with image processing. However, a colleague’s LEGO® MINDSTORMS® robot, which can recognize the rock, paper or scissors gestures of a hand with several different sensors, gave me an idea: „The robot should be able to ’see‘.“ Until now, the respective gesture had to be made at a very specific point in front of the robot in order to be reliably recognized. Several sensors were needed for this, which made the system inflexible and dampened the joy of playing. Can image processing solve this task more „elegantly“?
From the idea to implementation
In my search for a suitable camera, I came across IDS NXT – a complete system for the use of intelligent image processing. It fulfilled all my requirements and, thanks to artificial intelligence, much more besides pure gesture recognition. My interest was woken. Especially because the evaluation of the images and the communication of the results took place directly on or through the camera – without an additional PC! In addition, the IDS NXT Experience Kit came with all the components needed to start using the application immediately – without any prior knowledge of AI.
I took the idea further and began to develop a robot that would play the game „Rock, Paper, Scissors“ in the future – with a process similar to that in the classical sense: The (human) player is asked to perform one of the familiar gestures (scissors, stone, paper) in front of the camera. The virtual opponent has already randomly determined his gesture at this point. The move is evaluated in real time and the winner is displayed.
The first step: Gesture recognition by means of image processing
But until then, some intermediate steps were necessary. I began by implementing gesture recognition using image processing – new territory for me as a robotics fan. However, with the help of IDS lighthouse – a cloud-based AI vision studio – this was easier to realize than expected. Here, ideas evolve into complete applications. For this purpose, neural networks are trained by application images with the necessary product knowledge – such as in this case the individual gestures from different perspectives – and packaged into a suitable application workflow.
The training process was super easy, and I just used IDS Lighthouse’s step-by-step wizard after taking several hundred pictures of my hands using rock, scissor, or paper gestures from different angles against different backgrounds. The first trained AI was able to reliably recognize the gestures directly. This works for both left- and right-handers with a recognition rate of approx. 95%. Probabilities are returned for the labels „Rock“, „Paper“, „Scissor“, or „Nothing“. A satisfactory result. But what happens now with the data obtained?
Further processing
The further processing of the recognized gestures could be done by means of a specially created vision app. For this, the captured image of the respective gesture – after evaluation by the AI – must be passed on to the app. The latter „knows“ the rules of the game and can thus decide which gesture beats another. It then determines the winner. In the first stage of development, the app will also simulate the opponent. All this is currently in the making and will be implemented in the next step to become a „Rock, Paper, Scissors“-playing robot.
From play to everyday use
At first, the project is more of a gimmick. But what could come out of it? A gambling machine? Or maybe even an AI-based sign language translator?
To be continued…