KI begreifen: Schulklassen in NRW programmieren Künstliche Neuronale Netze mit Open Roberta

Einen Blick in die »Blackbox« werfen und Künstliche Intelligenz (KI) selbst programmieren – das ermöglichen das Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS, das Ministerium für Schule und Bildung des Landes Nordrhein-Westfalen, die Universität zu Köln und die InterScience-Akademie für Algorithmik. Nach der Einführung des Pflichtfachs Informatik zum Schuljahr 2021/22 in NRW hat auch KI einen festen Platz im Unterricht für die Sekundarstufe I in den Klassen 5 und 6. In dem Zuge können die Schüler*innen in NRW, aber auch darüber hinaus, auf der Fraunhofer-Programmierplattform »Open Roberta Lab« künftig Künstliche Neuronale Netze selbst programmieren und testen. Ab Sommer 2022 bietet das Fraunhofer IAIS jungen Menschen weltweit einen einmaligen Zugang zur KI.

Künstliche Intelligenz ist eines der bedeutendsten und zugleich kritischsten Zukunftsthemen. Sie findet schon heute in zahlreichen Bereichen unseres Alltags Anwendung, zum Beispiel bei Gesichtserkennung, automatischer ‎Textergänzung, Sprachassistenten, personalisierter Werbung, ‎Übersetzungsprogrammen und Gesundheits-Apps. Um den Schülerinnen und Schülern einen praxisnahen Einstieg in diese Thematik zu erleichtern, fördert das Ministerium für Schule und Bildung des Landes Nordrhein-Westfalen die Entwicklung von KI-Lerninhalten und Materialien im Rahmen des Projekts »KI-Algorithmen im Informatikunterricht« seit September 2021.

© insta_photos – stock.adobe.com/Fraunhofer IAIS
Das Fraunhofer IAIS hat erstmals Künstliche Neuronale Netze auf seiner Programmierplattform Open Roberta integriert.

Mit dieser Unterstützung hat das Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS erstmals Künstliche Neuronale Netze auf seiner Programmierplattform Open Roberta integriert. In dem Projekt arbeiten Fraunhofer und die Universität zu Köln zusammen, um die Schulen bei der Unterrichtsentwicklung im Bereich der KI zu unterstützen. Initiator des Projekts ist Prof. Dr. Ulrich Trottenberg, der die Projektpartner ehrenamtlich unterstützt.

Staatssekretär Mathias Richter vom Ministerium für Schule und Bildung des Landes Nordrhein-Westfalen: »Vor dem Hintergrund der rasant steigenden Bedeutung von Künstlicher Intelligenz in der Lebens- und Arbeitswelt ist es dringend geboten, möglichst früh Kompetenzen im Bereich Künstliche Intelligenz und Maschinelles Lernen aufzubauen. Wir wollen es unseren Schülerinnen und Schülern ermöglichen, ihre eigene Zukunft mitzugestalten, denn die Auswirkungen von KI machen sich zunehmend bemerkbar. Ich danke allen am Projekt Beteiligten herzlich für ihre Unterstützung zur Stärkung der informatischen Bildung in Nordrhein-Westfalen insbesondere im Bereich der KI.«

Künstliche Intelligenz erhält einen festen Platz im Informatikunterricht

KI wird oft als komplexe Technologie wahrgenommen, die nur von Fachleuten verstanden und gestaltet werden kann. Dabei können Kompetenzen in diesem Teilgebiet der Informatik schon in der Schule altersangemessen vermittelt werden. Deshalb hat seit der Einführung des Pflichtfachs Informatik in Klasse 5/6 aller weiterführenden Schulen zum Schuljahr 2021/22 in NRW auch der Bereich Künstliche Intelligenz einen festen Platz im Informatikunterricht. Hier werden unter anderem Anwendungsbeispiele von KI aus der Lebenswelt der Schülerinnen und Schüler thematisiert sowie Grundprinzipien des Maschinellen Lernens altersgerecht vermittelt.

Im Rahmen des Projekts wird die bereits weit verbreitete Open-Source-Programmierumgebung Open Roberta Lab des Fraunhofer IAIS insbesondere um die Integration Künstlicher Neuronaler Netze (KNN) erweitert, um KI-Algorithmen durch grafische Programmierung intuitiv erleb- und verstehbar zu machen. Ziel ist es, dass Schülerinnen und Schüler ab den Klassen 5 und 6 verstehen, was ein Künstliches Neuronales Netz ist, wie es funktioniert und wie sie selbst ein KNN programmieren können, welches zum Beispiel einem Roboter ermöglicht, sich selbstständig in seiner Umwelt zu bewegen. Dabei steht im Vordergrund, dass die grundlegenden Prinzipien eines KNN verstanden und selbst umgesetzt werden können.

Praxisnaher Blick in die »Blackbox«

Thorsten Leimbach, Leiter der Roberta-Initiative und des Geschäftsfelds Smart Coding and Learning am Fraunhofer IAIS: »Üblicherweise wird KI – wenn überhaupt – in der Schule als eine Art Blackbox-Anwendung behandelt. Als eines der führenden Wissenschaftsinstitute auf den Gebieten KI und Maschinelles Lernen freuen wir uns, gemeinsam mit dem Schulministerium NRW und unseren Projektpartnern einen praxisnahen Blick in diese Box zu ermöglichen. Künstliche Neuronale Netze werden zu einem begreifbaren Element, das Schülerinnen und Schüler selbst programmieren können. Sie nähern sich so den Themen Maschinelles Lernen und KI auf innovative Weise.«

Neben dem Fraunhofer IAIS ist das Institut für Mathematikdidaktik (IMD) unter Leitung von Prof. Dr. Inge Schwank am Projekt beteiligt. Das IMD widmet sich der Frage, wie die KI-Thematik für alle Schulformen aufbereitet werden kann. Weiterhin beteiligt sind das Department Mathematik/Informatik (DMI) der Universität zu Köln sowie die InterScience-Akademie für Algorithmik (ISAFA), die das Projekt initiiert hat und ehrenamtlich unterstützt.

Die KNN-Integration als Bestandteil des Open Roberta Labs soll ab Sommer 2022 für alle Schulen und Interessierte weltweit unter https://lab.open-roberta.org verfügbar sein. Lehrkräfte und weitere Messebesucher*innen können auf der didacta 2022 (am Mittwoch und Samstag) am Stand des Schulministeriums NRW bereits einen ersten Einblick erhalten.

Potenziale KI-gestützter Robotik für die Industrie

Künstliche Intelligenz (KI) gilt als Schlüsseltechnologie und birgt enormes wirtschaftliches Potenzial. Doch ein Blick in deutsche Produktionshallen zeigt noch ein anderes Bild: Lediglich 6,8 Prozent der Unternehmen aus den Bereichen Maschinenbau und Elektrotechnik setzen KI-Technologien ein (Stand 2019). Dabei birgt KI gerade für das produzierende Gewerbe zahlreiche Potenziale.

Künstliche Intelligenz ist ein Überbegriff, der den Ansatz beschreibt, mit Maschinen Probleme zu lösen und menschliche Intelligenz zu imitieren. Dabei spielt insbesondere ein Teilbereich, das Machine Learning (Maschinelles Lernen), in Unternehmen und Produktionen eine entscheidende Rolle. Machine Learning bedeutet, dass ein System aus Beispielen lernt und diese nach der Lernphase verallgemeinern kann.

In der Produktion kommt Machine Learning beispielsweise im Bereich Predictive Analytics zum Einsatz. Dort wird KI als Teil von Vorhersagemodellen zur Überwachung und Wartung von Produktionsanlagen eingesetzt, um frühzeitig auf kritische Zustände reagieren zu können.

Auch das Wissensmanagement greift für die Auswertung von internen Informationen und Daten auf Machine Learning zurück. Daten von Fertigungslinien, Lieferketten, aber auch von einzelnen Produkten werden für Unternehmensprozesse, die Produktentwicklung und neue Geschäftsmodelle ausgewertet. Ohne den Einsatz von KI wäre eine Analyse aufgrund der schieren Datenmenge nicht möglich.

Mit KI und Robotik Handarbeitsplätze automatisieren

Machine Learning, häufig in Kombination mit Machine Vision, kommt auch in den Bereichen Robotik und Automatisierung, Sensorik und bei fahrerlosen Transportsystemen zum Einsatz. Für die Fertigung ist dabei das Zusammenspiel von KI und Robotik ein wichtiger Schlüssel für die Zukunft.

KI-Produkte, wie beispielsweise Robotersteuerungen, ermöglichen es unter anderem, Handarbeitsplätze zu automatisieren. Ein nicht zu vernachlässigender Vorteil, denn Arbeitskräfte sind rar und der Mangel verschärft sich in den Jahren weiter, wie der Deutsche Industrie- und Handelskammertag (DIHK) prognostiziert. Übernehmen Roboter auch Aufgaben, für die es bisher die Flexibilität eines Menschen brauchte, sorgt das für die Entlastung der Stammbelegschaft, eine Auslastung der Maschinen und sichert auf lange Sicht die Wettbewerbsfähigkeit.

Robuster Umgang mit Varianzen

KI-Steuerungen wie MIRAI von Micropsi Industries ergänzen die native Steuerung eines Roboters. Der Roboter erhält dank einer Kamera und einem neuronalen Netzwerk die Auge-Hand-Koordination und eine vergleichbare Flexibilität wie ein Mensch. Ein solches intelligentes Robotersystem lernt bei neuen Aufgaben, bei anders geformten oder positionierten Werkteilen oder bei vergleichbaren Varianzen schnell, was es zu tun hat und passt bei Bedarf seine Bewegungen in Echtzeit eigenständig an. Ob es sich um das Picken einzelner Teile, Zustellbewegungen oder Fügen und Verfolgen handelt: Zahlreiche Tätigkeiten sind mit einer einzigen kleinen Kamera am Roboter-Handgelenk umsetzbar.

Diese Fähigkeiten lassen sich mit MIRAI durch menschliche Demonstration trainieren. Weder KI- noch Programmierkenntnisse sind erforderlich. Das Know-how bleibt selbst ohne KI-Fachkräfte im Unternehmen. Dem Roboter muss dafür das Ziel einige Male in typisch vorkommenden Varianzen mit der Kamera gezeigt werden. Die KI verallgemeinert im Anschluss die gezeigten Daten. Ein solches System kann in wenigen Stunden trainiert und sogar neu trainiert werden. Selbst eine Fertigung im High Mix-/Low-Volume lässt sich so rentabel automatisieren. Was intelligente Robotiklösungen bereits in der Praxis leisten, zeigen die folgenden Beispiele.

Intelligentes Handling-System bei ZF

Der Technologiekonzern ZF stand vor der Herausforderung, die Werkstückzufuhr einer großvolumigen Frässtation, in der Zahnräder produziert werden, zu automatisieren. Im Werkprozess werden Metallringe aus einer Kiste entnommen und auf ein Förderband gelegt, um später in die Produktion der Zahnräder einzufließen. Die Schwierigkeit: Der Produktionsschritt ist sehr variantenreich, da sich die Ringe in der angelieferten Gitterbox verschieben und dadurch zufällig angeordnet sind. Auch Platzierung und Form der Box variieren. Wechselnde Lichtverhältnisse stellen eine zusätzliche Herausforderung dar. Außerdem ist die Oberfläche der Ringe metallisch glänzend, teilweise ölverschmiert oder korrodiert, was eine klassische Automatisierung unmöglich machte.

Heute ist die KI-Steuerung MIRAI und ein Cobot vom Modell UR10e bei ZF in einer automatisierten Werkstückaufnahme im Einsatz. Mit seiner eigenen Steuerung bringt der Cobot sich über den Ringen in der Kiste in Position. Nun übernimmt das MIRAI-System die Kontrolle: Es bewegt den Roboter selbstständig zum nächsten Ring und bringt den Greifer in die korrekte dreidimensionale Greifposition. Danach übernimmt der UR10e wieder, nimmt den Ring auf und bewegt ihn zum Ablegen auf das Förderband. Das komplette Einrichten des Roboters dauerte lediglich wenige Tage – MIRAI löste in kürzester Zeit ein lang bestehendes Problem.

BSH sucht mit KI nach Kältemittellecks

An ihrem spanischen Standort stellt die BSH Hausgeräte GmbH Kühl- und Gefrierschränke her. Im Herstellungsprozess muss das Unternehmen die Kupferrohrleitungen der Kühlschränke auf Leckagen testen. Für die sogenannte Dichtheitsprüfung wird eine Schnüffelsonde entlang der Kupferrohrleitungen und Kompressoren geführt, um Lötstellen auf austretendes Gas und Kältemittel zu prüfen. Das Besondere: Jede Rückseite der hergestellten Kühlschränke ist einzigartig, was Position, Farbe und Form der Lötpunkte angeht. Für einen herkömmlichen Roboter sind solche Varianzen ein unüberwindbares Hindernis. Der monotone Prüfprozess blieb dem Menschen vorbehalten – bis jetzt.

Den Prüfprozess übernimmt bei BSH nun eine Robotik-Komplettlösung den Prüfprozess. Dank der integrierten Robotersteuerung MIRAI ist es dem Roboter möglich, alle zu prüfenden Lötstellen verlässlich zu identifizieren und die Schnüffelsonde millimetergenau heranzuführen – unabhängig von Position, Form oder Farbe. Das System reagiert in Echtzeit auf seine Umwelt und handhabt selbst unvorhergesehene Abweichungen präzise. Die Roboterfähigkeiten wurden von Mitarbeitenden bei BSH durch menschliche Demonstration in nur wenigen Stunden trainiert. Weder Programmier- noch KI-Kenntnisse waren erforderlich. BSH konnte mit der Automatisierungslösung die laufenden Betriebskosten senken und Wartungen und Fehlerbehebungen reduzieren.

Neue Technologien als Wettbewerbsvorteil

Die Beispiele zeigen, dass Unternehmen mit KI sehr viel bewirken können: KI ermöglicht mehr Flexibilität, Unabhängigkeit, Effizienz und nicht zuletzt Resilienz. Nicht unwichtig in Zeiten wie diesen. Neue Technologien sollte dabei als Türöffner zu mehr Automatisierung verstanden werden. Leistungen, die bislang von Menschen oder Maschinen erbracht wurden, können nun von einer Software geliefert werden. Das ist nicht nur vorteilhaft beim drastisch zunehmenden Arbeitskräftemangel. Es erhöht auch die Flexibilität, Nachvollziehbarkeit und Zuverlässigkeit von Produktionsprozessen und verschafft einen dauerhaften Wettbewerbsvorsprung.

Weitere Informationen unter: https://bit.ly/MicropsiIndustries

Further development of IDS NXT ocean: focus on user-friendliness and AI transparency

All-in-one embedded vision platform with new tools and functions

(PresseBox) (ObersulmAt IDS, image processing with artificial intelligence does not just mean that AI runs directly on cameras and users also have enormous design options through vision apps. Rather, with the IDS NXT ocean embedded vision platform, customers receive all the necessary, coordinated tools and workflows to realise their own AI vision applications without prior knowledge and to run them directly on the IDS NXT industrial cameras. Now follows the next free software update for the AI package. In addition to the topic of user-friendliness, the focus is also on making artificial intelligence clear and comprehensible for the user.

An all-in-one system such as IDS NXT ocean, which has integrated computing power and artificial intelligence thanks to the “deep ocean core” developed by IDS, is ideally suited for entry into AI Vision. It requires no prior knowledge of deep learning or camera programming. The current software update makes setting up, deploying and controlling the intelligent cameras in the IDS NXT cockpit even easier. For this purpose, among other things, an ROI editor is integrated with which users can freely draw the image areas to be evaluated and configure, save and reuse them as custom grids with many parameters. In addition, the new tools Attention Maps and Confusion Matrix illustrate how the AI works in the cameras and what decisions it makes. This helps to clarify the process and enables the user to evaluate the quality of a trained neural network and to improve it through targeted retraining. Data security also plays an important role in the industrial use of artificial intelligence. As of the current update, communication between IDS NXT cameras and system components can therefore be encrypted via HTTPS.

Just get started with the IDS NXT ocean Creative Kit

Anyone who wants to test the industrial-grade embedded vision platform IDS NXT ocean and evaluate its potential for their own applications should take a look at the IDS NXT ocean Creative Kit. It provides customers with all the components they need to create, train and run a neural network. In addition to an IDS NXT industrial camera with 1.6 MP Sony sensor, lens, cable and tripod adapter, the package includes six months’ access to the AI training software IDS NXT lighthouse. Currently, IDS is offering the set in a special promotion at particularly favourable conditions. Promotion page: https://en.ids-imaging.com/ids-nxt-ocean-creative-kit.html.

Learn more: www.ids-nxt.com

Weiterentwicklung von IDS NXT ocean: Fokus auf Benutzerfreundlichkeit und KI-Transparenz

All-in-One Embedded Vision Plattform mit neuen Werkzeugen und Funktionen

(PresseBox) (ObersulmBei IDS bedeutet Bildverarbeitung mit künstlicher Intelligenz nicht nur, dass die KI direkt auf Kameras läuft und Anwender zusätzlich enorme Gestaltungsmöglichkeiten durch Vision Apps haben. Kunden erhalten mit der Embedded-Vision-Plattform IDS NXT ocean vielmehr alle erforderlichen, aufeinander abgestimmten Tools und Workflows, um eigene KI-Vision-Anwendungen ohne Vorwissen zu realisieren und direkt auf den IDS NXT Industriekameras auszuführen. Jetzt folgt das nächste kostenlose Softwareupdate für das KI-Paket. Im Fokus steht neben dem Thema Benutzerfreundlichkeit auch der Anspruch, die künstliche Intelligenz für den Anwender anschaulich und nachvollziehbar zu machen.

Ein All-in-One System wie IDS NXT ocean, das durch den von IDS entwickelten „deep ocean core“ über integrierte Rechenleistung und künstliche Intelligenz verfügt, eignet sich bestens für den Einstieg in AI Vision. Es erfordert weder Vorkenntnisse in Deep Learning noch in der Kameraprogrammierung. Das aktuelle Softwareupdate macht die Einrichtung, Inbetriebnahme und Steuerung der intelligenten Kameras im IDS NXT cockpit noch einfacher. Hierzu wird unter anderem ein ROI-Editor integriert, mit dem Anwender die auszuwertenden Bildbereiche frei zeichnen und als beliebige Raster mit vielen Parametern konfigurieren, speichern und wiederverwenden können. Darüber hinaus veranschaulichen die neuen Werkzeuge Attention Maps und Confusion Matrix, wie die KI in den Kameras arbeitet und welche Entscheidungen sie trifft. Das macht sie transparenter und hilft dem Anwender, die Qualität eines trainierten neuronalen Netzes zu bewerten und durch gezieltes Nachtraining zu verbessern. Beim industriellen Einsatz von künstlicher Intelligenz spielt auch Datensicherheit eine wichtige Rolle. Ab dem aktuellen Update lässt sich die Kommunikation zwischen IDS NXT Kameras und Anlagenkomponenten deshalb per HTTPS verschlüsseln. 

Einfach loslegen mit dem IDS NXT ocean Creative Kit

Wer die industrietaugliche Embedded-Vision-Plattform IDS NXT ocean testen und das Potenzial für die eigenen Anwendungen evaluieren möchte, sollte einen Blick auf das IDS NXT ocean Creative Kit werfen. Kunden erhalten damit alle Komponenten, die sie für die Erstellung, das Trainieren und das Ausführen eines neuronalen Netzes benötigen. Neben einer IDS NXT Industriekamera mit 1,6 MP Sony Sensor, Objektiv, Kabel und Stativadapter enthält das Paket u.a. einen sechsmonatigen Zugang zur KI-Trainingssoftware IDS NXT lighthouse. Aktuell bietet IDS das Set in einer Sonderaktion zu besonders günstigen Konditionen an. Aktionsseite: https://de.ids-imaging.com/ids-nxt-ocean-creative-kit.html.

Weitere Informationen: www.ids-nxt.de

JetMax: The AI Vision Robotic Arm for Endless Creativity

The true AI vision robotic arm powered by Jetson Nano is affordable and open-source, making your AI creativity into reality.

In recent years, there are more makers, students, enthusiasts, and engineers learning artificial intelligence technology, and many interesting AI projects are being developed as well. Hiwonder brings the power of AI to robot, build a true AI robotic arm — JetMax, to enhance the AI and robotic learning experience for everyone.

JetMax featurs Deep Learning and Computer Vision abilities. It is equipped with Jetson Nano and HD Wide Angle camera, which enables it to interact with the perceived environment efficiently. It empowers you to skillfully make your AI creativity into reality.

Being an AI Vision Robotic Arm, JetMax not only features AI vision but has a clever brain as well. Supporting you in learning coding, researching AI robotics applications, and bringing your AI ideas to life. It can be your helping hand in a lab, university, or workshop.

  • Powered by NVIDIA Jetson Nano

The open-source JetMax robot arm is powered by Jetson Nano, featuring deep learning, computer vision and more. Jetson Nano has the performance needed to power modern AI workloads to enable JetMax robot arm with advanced AI capabilities.

  • Supports multiple types of EoAT (End-of-Arm Tooling)

Supporting multiple types of end-of-arm tooling such as grippers, suction cup, pen holder, electromagnet etc, JetMax provides you with many ways of creative design applications.

  • Open-Source

JetMax is an open platform hardware product. We contribute numerous project source and AI tutorials. Additionally, the API interface is completely opened for customization and supports, such as Python, C++ and JAVA languages

Engineered Arts to Unveil New Humanoid Robot at CES 2022

The Ameca humanoid robot combines AI with AB (Artificial Body) for relatable natural human gestures and upgradable modular mechanics via cloud-managed API development tool kit

LAS VEGAS—December 3rd, 2021—CES 2022 — Engineered Arts, a UK company that creates the most memorable interactive character experiences, today announced its latest humanoid robot named Ameca (pron. Am-ek-uh). Through 20 years of increasing robotics innovation, the Ameca series features ground-breaking advancements in movement and natural gestures, intelligent interaction, and a future-proof software system designed to embrace artificial intelligence and computer vision with adaptive learning—giving users an API customization pathway never before available.

Engineered Arts’ Ameca humanoid robot will take center stage at CES 2022 in Las Vegas at the Great Britain and Northern Ireland Pavilion in Tech West Hall G—lower level of the Venetian Expo Center, at Booth 62502 & 62524 from January 5th- 8th.

Complete details, images, videos and specs of the Ameca humanoid robot are available at: https://www.engineeredarts.co.uk/robot/ameca/.

“A humanoid robot will always instil an image of what the future may hold. Ameca represents a perfect platform to explore how our machines can live with, collaborate, and enrich our lives in tomorrow’s sustainable communities,” said Morgan Roe, Director of Operations at Engineered Arts. “Ameca integrates both AI with AB (artificial body) for advanced, iterative technologies that deliver superior motion and gestures, all housed in a human form and robotic visage for a non-threatening, gender-neutral integration into an inclusive society,” added Roe.

The Engineered Arts team can create any robot figure in as little as four months. All Engineered Arts AmecaMesmer series and RoboThespian robot creations are available for ownership or through an integrated end-to-end rental program for special limited engagements and showcases across the world. To learn more about the humanoid robots from Engineered Arts visit: https://www.engineeredarts.co.uk/

About Engineered Arts

Engineered Arts, Ltd. integrates a talented team of engineers and creatives, working together to produce technology that lives and breathes engagement, imagination, and entertainment. At the heart of its robotic humanoids is the Tritium operating system, a cloud-based operating system that drives robot animation, interaction, maintenance links and content distribution. For more information visit: https://www.engineeredarts.co.uk/

AgileX Robotics Announces Launch of LIMO, the World‘s First Multi-modal Mobile Robot with AI Modules

Mobile robot experts AgileX just announced the launch of LIMO – an ROS-based multi-modal car with 4 steering modes and open-source software that is perfect for ROS beginners as well as advanced programmers. This exciting new robotics platform has virtually unlimited applications for education, business and industry and is available now here

 LIMO is an incredibly versatile and multifunctional robotic platform for designing and programming robot AI. It uses the modular programming languages ROS 1 or ROS 2 to achieve many functional purposes including mapping, navigation, obstacle avoidance, path planning, and more for educational, commercial and industrial applications.

“At AgileX Robotics our vision is to enable all industries and individuals with the ability to improve productivity and efficiency through robot technology. Our latest product, LIMO is a powerful yet easy to use mobile robotic platform that is perfect for learning ROS, completing tasks for business and education, and beginning a journey in the exciting world of robotics. We designed LIMO to be easy to use with an intuitive programming method and open source capabilities. It’s the best way to get started with robotic AI.”  CEO, AgileX Robotics. 

Four steering modes make LIMO substantially superior to other robots in its class. The available modes are: Omni Wheel Steering, Tracked Steering, Four-Wheel Differential Steering and Ackermann Steering. These advanced steering modes plus built-in 360° scanning LiDAR and RealSense infrared camera make the platform perfect for industrial and commercial tasks. 

Equipped with four other USB ports and powered by Nvidia Jetson Nano, LIMO can be fully customized with other hardware according to one’s needs. LIMO can be connected with open-source ROS 1 & ROS 2. Programming Demo, ROS Packages and Simulation powered by Gazebo are supported as well. With these incredible features, LIMO can achieve precise self-localization, SLAM & V-SLAM mapping, route planning and autonomous obstacle avoidance, reverse parking, traffic light recognition, and more.

LIMO, the world‘s first multi-modal mobile robot with AI modules is currently being launched via a Kickstarter campaign to reward early adopters with special deals and pricing. Learn more here: [LINK]

Better gripping with intelligent picking robots

Researchers from Germany and Canada work on new AI methods for picking robots.

 ISLANDIA, NY, July 7, 2021 — Production, warehouse, shipping – where goods are produced, stored, sorted or packed, picking also takes place. This means that several individual goods are removed from storage units such as boxes or cartons and reassembled. With the FLAIROP (Federated Learning for Robot Picking) project Festo and researchers from the Karlsruhe Institute of Technology (KIT), together with partners from Canada, want to make picking robots smarter using distributed AI methods. To do this, they are investigating how to use training data from multiple stations, from multiple plants, or even companies without requiring participants to hand over sensitive company data. 

“We are investigating how the most versatile training data possible from multiple locations can be used to develop more robust and efficient solutions using artificial intelligence algorithms than with data from just one robot,” says Jonathan Auberle from the Institute of Material Handling and Logistics (IFL) at KIT. In the process, items are further processed by autonomous robots at several picking stations by means of gripping and transferring. At the various stations, the robots are trained with very different articles. At the end, they should be able to grasp articles from other stations that they have not yet learned about. “Through the approach of federated learning, we balance data diversity and data security in an industrial environment,” says the expert.

Powerful algorithms for industry and logistics 4.0

Until now, federated learning has been used predominantly in the medical sector for image analysis, where the protection of patient data is a particularly high priority. Consequently, there is no exchange of training data such as images or grasp points for training the artificial neural network. Only pieces of stored knowledge – the local weights of the neural network that tell how strongly one neuron is connected to another – are transferred to a central server. There, the weights from all stations are collected and optimized using various criteria. Then the improved version is played back to the local stations and the process repeats. The goal is to develop new, more powerful algorithms for the robust use of artificial intelligence for industry and Logistics 4.0 while complying with data protection guidelines.

“In the FLAIROP research project, we are developing new ways for robots to learn from each other without sharing sensitive data and company secrets. This brings two major benefits: we protect our customers’ data, and we gain speed because the robots can take over many tasks more quickly. In this way, the collaborative robots can, for example, support production workers with repetitive, heavy, and tiring tasks”, explains Jan Seyler, Head of Advanced Develop. Analytics and Control at Festo SE & Co. KG During the project, a total of four autonomous picking stations will be set up for training the robots: Two at the KIT Institute for Material Handling and Logistics (IFL) and two at the Festo SE company based in Esslingen am Neckar.

Start-up DarwinAI and University of Waterloo from Canada are further partners

“DarwinAI is thrilled to provide our Explainable (XAI) platform to the FLAIROP project and pleased to work with such esteemed Canadian and German academic organizations and our industry partner, Festo. We hope that our XAI technology will enable high-value human-in-the-loop processes for this exciting project, which represents an important facet of our offering alongside our novel approach to Federated Learning.  Having our roots in academic research, we are enthusiastic about this collaboration and the industrial benefits of our new approach for a range of manufacturing customers”, says Sheldon Fernandez, CEO, DarwinAI.

“The University of Waterloo is ecstatic to be working with Karlsruhe Institute of Technology and a global industrial automation leader like Festo to bring the next generation of trustworthy artificial intelligence to manufacturing.  By harnessing DarwinAI’s Explainable AI (XAI) and Federated Learning, we can enable AI solutions to help support factory workers in their daily production tasks to maximize efficiency, productivity, and safety”, says Dr. Alexander Wong, Co-director of the Vision and Image Processing Research Group, University of Waterloo, and Chief Scientist at DarwinAI.

About FLAIROP

The FLAIROP (Federated Learning for Robot Picking) project is a partnership between Canadian and German organizations. The Canadian project partners focus on object recognition through Deep Learning, Explainable AI, and optimization, while the German partners contribute their expertise in robotics, autonomous grasping through Deep Learning, and data security.

  • KIT-IFL: consortium leadership, development grasp determination, development automatic learning data generation.
  • KIT-AIFB: Development of Federated Learning Framework
  • Festo SE & Co. KG: development of picking stations, piloting in real warehouse logistics
  • University of Waterloo (Canada): Development object recognition
  • Darwin AI (Canada): Local and Global Network Optimization, Automated Generation of Network Structures

Visit www.festo.com/us for more information on Festo products and services.

About Festo

Festo is a leading manufacturer of pneumatic and electromechanical systems, components, and controls for process and industrial automation. For more than 40 years, Festo Corporation has continuously elevated the state of manufacturing with innovations and optimized motion control solutions that deliver higher performing, more profitable automated manufacturing and processing equipment.

Connect with Festo: Facebook, LinkedIn, Twitter and YouTube

QUADRUPED A1 – Four-legged robot combines artificial intelligence and sophisticated motion sequences

The newly founded company QUADRUPED Robotics is the first and currently the only German company to introduce fully modifiable multi-legged robots to the European market. In doing so, this form of robot represents a novelty: the four-legged robots combine artificial intelligence with new motion sequences and individually customizable equipment.
The A1 robot in the QUADRUPED line is based on the Robot Operating System (ROS.org) and can thus be adapted to its environment and requirements. However, even the basic equipment enables a wide range of applications.

By means of an AI-controlled and depth-sensing smart camera, HD recordings can be transmitted in real time and to a terminal device. At the same time, the integrated multi-eye camera offers real-time tracking of objects in sight, gesture recognition and target tracking following specific movement patterns.

The basis for the development of an environment map is the visual SLAM. QUADRUPED A1 calculates paths, obstacles, routes and navigation points. This leads to vision-based autonomous obstacle avoidance. In addition, QUADRUPED A1 also recognizes obstacle shapes and an adjustment of the body position takes place. If an impact or fall does occur, the advanced dynamic balancing algorithm allows balance to be quickly restored. Further measurement data as well as more dynamic behavior can be achieved by integrating additional sensor technology, such as that of a 3D LiDAR or further camera modules.

The QUADRUPED A1 incorporates the unique patented sensitive foot contact. Each of the four feet can be controlled individually. The smart actuators provide precise footing as well as different gaits. The system is based on a low-level control developed by QUADRUPED Robotics, which can read out the position including torque and current consumption at any time. The foot end is waterproof and dustproof and can be easily replaced after wear.
The A1 impressed with its latest measured top speed of 11.8 km/h (3.3 m/s), which is unique for a robot of this type. It can also carry loads of up to 5 kg.

For simplified maintenance work, the robot was designed with a stable and lightweight body structure. The A1 has an external 24 V power input and 5 V-/12 V-/19 V power supply, which enables the use of additional external devices. Other external interfaces include 4 USB, 2 HDMI, 2 Ethernet ports.

It is equipped with a powerful redundant control system: low-level control for CAN communication with the smart actuators and NVIDIA Xavier for calculation or measurement data evaluation. The current runtime of approx. 1.5 hours varies depending on the application.

Additional equipment is available from QUADRUPED Robotics and can be delivered with implemented software packages on request. Due to in-house research and development, the end customer can order a finished and tested product. Another service is the provision of complete documentation on the website www.docs.quadruped.de. In addition, complete simulation environments based on Webots & Gazebo are also made available for download there, which can be used for application testing.

QUADRUPED Robotics is a spin-off of MYBOTSHOP uG, which emerged as an established sales and development partner in the fields of robotics, sensor technology and automation technology. Company founder Daniel Kottlarz draws from the potential of four-legged and autonomous robots the opportunity to relieve humans in particularly dangerous areas of operation and situations and to ward off dangerous situations by means of the autonomous robots.

QUADRUPED A1 – Vierbeiniger Roboter vereint künstliche Intelligenz und ausgereifte Bewegungsabläufe

Das neu gegründete Unternehmen QUADRUPED Robotics führt als erstes und derzeit einziges deutsches Unternehmen voll modifizierbare mehrbeinige Roboter in den europäischen Markt ein. Dabei stellt diese Form der Roboter eine Neuheit dar: die Vierbeiner kombinieren künstliche Intelligenz mit neuen Bewegungsabläufen und einer individuell anpassbaren Ausstattung.

Der Roboter A1 der Linie QUADRUPED basiert auf dem Robot Operating System (ROS.org) und lässt sich somit auf seine Umgebung und Anforderung anpassen. Doch auch schon die Grundausstattung ermöglicht einen breiten Anwendungsbereich.
Mittels KI-gesteuerter und tiefenerkennender Smart-Kamera lassen sich HD-Aufnahmen in Echtzeit und an ein Endgerät übertragen. Gleichzeitig bietet die integrierte Mehraugen-Kamera die Echtzeit-Verfolgung von Objekten in Sichtweite, Gestenerkennung und auf bestimmte Bewegungsmuster folgend die Zielpersonenverfolgung.
Grundlage zur Erarbeitung einer Umgebungskarte ist das visuelle SLAM. QUADRUPED A1 berechnet Wege, Hindernisse, Strecken und Navigationspunkte. Dies führt zu einer visions-basierten autonomen Hindernisvermeidung. Zusätzlich erkennt der QUADRUPED A1 auch Hindernisformen und es erfolgt eine Anpassung der Körperposition. Sollte es doch zu einem Aufprall oder Sturz kommen, ermöglicht der fortschrittliche dynamische Balancier-Algorithmus das Gleichgewicht schnell wiederherzustellen. Weitere Messdaten sowie dynamischeres Verhalten können durch die Integration zusätzlicher Sensorik, wie die eines 3D-LiDAR oder weiterer Kameramodule, erreicht werden.

Im QUADRUPED A1 ist der einzigartige patentierte sensible Fußkontakt verbaut. Jeder der vier Füße kann einzeln und individuell angesteuert werden. Durch die smarten Aktuatoren sind präzises Auftreten sowie verschiedene Gangart geboten. Das System basiert auf einem von QUADRUPED Robotics entwickelten Low-Level-Control, das zu jedem Zeitpunkt die Position samt Drehmoment und Stromaufnahme auslesen kann. Das Fußende ist wasser- und staubdicht und kann nach Abnutzung leicht ausgetauscht werden.
Der A1 überzeugte durch seine zuletzt gemessene Höchstgeschwindigkeit von 11,8 km/h (3,3 m/s), welche für einen Roboter dieser Art einmalig ist. Zudem kann er Lasten bis zu 5 kg tragen.

Für vereinfachte Wartungsarbeiten wurde bei dem Roboter auf eine stabile und leichte Karosseriestruktur geachtet. Der A1 verfügt über einen externen 24 V Stromeingang und 5 V-/12 V-/19 V-Spannungsversorgung, die den Einsatz zusätzlicher externer Geräte ermöglicht. Weitere externe Schnittstellen sind 4 USB-, 2 HDMI-, 2 Ethernet-Anschlüsse.
Ausgestattet ist er mit einer leistungsstarken redundanten Steuerung: Low-Level-Control zur CAN-Kommunikation mit den smarten Aktuatoren und NVIDIA Xavier für die Berechnung bzw. Messdatenauswertung. Die aktuelle Laufzeit von ca. 1,5 Stunden variiert je nach Anwendung.

Zusatz-Equipment ist bei QUADRUPED Robotics erhältlich und wird auf Wunsch mit implementierten Software-Packages ausgeliefert. Durch die hausinterne Forschung und Entwicklung kann der Endkunde ein fertiges und getestetes Produkt bestellen. Ein weiterer Service ist die Bereitstellung der vollständigen Dokumentation auf der Website www.docs.quadruped.de. Darüber hinaus werden dort auch vollständige Simulationsumgebungen auf Basis von Webots & Gazebo zum Download bereitgestellt, die zu Anwendungstests genutzt werden können.

QUADRUPED Robotics ist eine Ausgründung der MYBOTSHOP uG, die als etablierter Vertriebs- und Entwicklungspartner in den Bereichen Robotik, Sensorik und Automatisierungstechnik entstand. Firmengründer Daniel Kottlarz schöpft aus dem Potenzial der vierbeinigen und autonomen Roboter die Chance, den Menschen in besonders gefährlichen Einsatzbereichen und Situationen zu entlasten und mittels der autonomen Roboter Gefahrensituationen abzuwehren.