Intelligent robotics for laundries closes automation gap
The textile and garment industry is facing major challenges with current supply chain and energy issues. The future recovery is also threatened by factors that hinder production, such as labour and equipment shortages, which put them under additional pressure. The competitiveness of the industry, especially in a global context, depends on how affected companies respond to these framework conditions. One solution is to move the production of clothing back to Europe in an economically viable way. Shorter transport routes and the associated significant savings in transport costs and greenhouse gases speak in favour of this. On the other hand, the related higher wage costs and the prevailing shortage of skilled workers in this country must be compensated. The latter requires further automation of textile processing. The German deep-tech start-up sewts GmbH from Munich has focused on the great potential that lies in this task. It develops solutions with the help of which robots – similar to humans – anticipate how a textile will behave and adapt their movement accordingly.
The German deep-tech start-up sewts GmbH from Munich has focused on the great potential that lies in this task. It develops solutions with the help of which robots – similar to humans – anticipate how a textile will behave and adapt their movement accordingly. In the first step, sewts has set its sights on an application for large industrial laundries. With a system that uses both 2D and 3D cameras from IDS Imaging Development Systems GmbH, the young entrepreneurs are automating one of the last remaining manual steps in large-scale industrial laundries, the unfolding process. Although 90% of the process steps in industrial washing are already automated, the remaining manual operations account for 30% of labour costs. The potential savings through automation are therefore enormous at this point. Application It is true that industrial laundries already operate in a highly automated environment to handle the large volumes of laundry. Among other things, the folding of laundry is done by machines. However, each of these machines usually requires an employee to manually spread out the laundry and feed it without creases. This monotonous and strenuous loading of the folding machines has a disproportionate effect on personnel costs. In addition, qualified workforce is difficult to find, which often has an impact on the capacity utilisation and thus the profitability of industrial laundries. The seasonal nature of the business also requires a high degree of flexibility. sewts makes IDS cameras the image processing components of a new type of intelligent system whose technology can now be used to automate individual steps, such as sorting dirty textiles or inserting laundry into folding machines.
„The particular challenge here is the malleability of the textiles,“ explains Tim Doerks, co-founder and CTO. While the automation of the processing of solid materials, such as metals, is comparatively unproblematic with the help of robotics and AI solutions, available software solutions and conventional image processing often still have their limits when it comes to easily deformable materials. Accordingly, commercially available robots and gripping systems have so far only been able to perform such simple operations as gripping a towel or piece of clothing inadequately. But the sewts system
Künstliche Intelligenz (KI) gilt als Schlüsseltechnologie und birgt enormes wirtschaftliches Potenzial. Doch ein Blick in deutsche Produktionshallen zeigt noch ein anderes Bild: Lediglich 6,8 Prozent der Unternehmen aus den Bereichen Maschinenbau und Elektrotechnik setzen KI-Technologien ein (Stand 2019). Dabei birgt KI gerade für das produzierende Gewerbe zahlreiche Potenziale.
Künstliche Intelligenz ist ein Überbegriff, der den Ansatz beschreibt, mit Maschinen Probleme zu lösen und menschliche Intelligenz zu imitieren. Dabei spielt insbesondere ein Teilbereich, das Machine Learning (Maschinelles Lernen), in Unternehmen und Produktionen eine entscheidende Rolle. Machine Learning bedeutet, dass ein System aus Beispielen lernt und diese nach der Lernphase verallgemeinern kann.
In der Produktion kommt Machine Learning beispielsweise im Bereich Predictive Analytics zum Einsatz. Dort wird KI als Teil von Vorhersagemodellen zur Überwachung und Wartung von Produktionsanlagen eingesetzt, um frühzeitig auf kritische Zustände reagieren zu können.
Auch das Wissensmanagement greift für die Auswertung von internen Informationen und Daten auf Machine Learning zurück. Daten von Fertigungslinien, Lieferketten, aber auch von einzelnen Produkten werden für Unternehmensprozesse, die Produktentwicklung und neue Geschäftsmodelle ausgewertet. Ohne den Einsatz von KI wäre eine Analyse aufgrund der schieren Datenmenge nicht möglich.
Mit KI und Robotik Handarbeitsplätze automatisieren
Machine Learning, häufig in Kombination mit Machine Vision, kommt auch in den Bereichen Robotik und Automatisierung, Sensorik und bei fahrerlosen Transportsystemen zum Einsatz. Für die Fertigung ist dabei das Zusammenspiel von KI und Robotik ein wichtiger Schlüssel für die Zukunft.
KI-Produkte, wie beispielsweise Robotersteuerungen, ermöglichen es unter anderem, Handarbeitsplätze zu automatisieren. Ein nicht zu vernachlässigender Vorteil, denn Arbeitskräfte sind rar und der Mangel verschärft sich in den Jahren weiter, wie der Deutsche Industrie- und Handelskammertag (DIHK) prognostiziert. Übernehmen Roboter auch Aufgaben, für die es bisher die Flexibilität eines Menschen brauchte, sorgt das für die Entlastung der Stammbelegschaft, eine Auslastung der Maschinen und sichert auf lange Sicht die Wettbewerbsfähigkeit.
Robuster Umgang mit Varianzen
KI-Steuerungen wie MIRAI von Micropsi Industries ergänzen die native Steuerung eines Roboters. Der Roboter erhält dank einer Kamera und einem neuronalen Netzwerk die Auge-Hand-Koordination und eine vergleichbare Flexibilität wie ein Mensch. Ein solches intelligentes Robotersystem lernt bei neuen Aufgaben, bei anders geformten oder positionierten Werkteilen oder bei vergleichbaren Varianzen schnell, was es zu tun hat und passt bei Bedarf seine Bewegungen in Echtzeit eigenständig an. Ob es sich um das Picken einzelner Teile, Zustellbewegungen oder Fügen und Verfolgen handelt: Zahlreiche Tätigkeiten sind mit einer einzigen kleinen Kamera am Roboter-Handgelenk umsetzbar.
Diese Fähigkeiten lassen sich mit MIRAI durch menschliche Demonstration trainieren. Weder KI- noch Programmierkenntnisse sind erforderlich. Das Know-how bleibt selbst ohne KI-Fachkräfte im Unternehmen. Dem Roboter muss dafür das Ziel einige Male in typisch vorkommenden Varianzen mit der Kamera gezeigt werden. Die KI verallgemeinert im Anschluss die gezeigten Daten. Ein solches System kann in wenigen Stunden trainiert und sogar neu trainiert werden. Selbst eine Fertigung im High Mix-/Low-Volume lässt sich so rentabel automatisieren. Was intelligente Robotiklösungen bereits in der Praxis leisten, zeigen die folgenden Beispiele.
Intelligentes Handling-System bei ZF
Der Technologiekonzern ZF stand vor der Herausforderung, die Werkstückzufuhr einer großvolumigen Frässtation, in der Zahnräder produziert werden, zu automatisieren. Im Werkprozess werden Metallringe aus einer Kiste entnommen und auf ein Förderband gelegt, um später in die Produktion der Zahnräder einzufließen. Die Schwierigkeit: Der Produktionsschritt ist sehr variantenreich, da sich die Ringe in der angelieferten Gitterbox verschieben und dadurch zufällig angeordnet sind. Auch Platzierung und Form der Box variieren. Wechselnde Lichtverhältnisse stellen eine zusätzliche Herausforderung dar. Außerdem ist die Oberfläche der Ringe metallisch glänzend, teilweise ölverschmiert oder korrodiert, was eine klassische Automatisierung unmöglich machte.
Heute ist die KI-Steuerung MIRAI und ein Cobot vom Modell UR10e bei ZF in einer automatisierten Werkstückaufnahme im Einsatz. Mit seiner eigenen Steuerung bringt der Cobot sich über den Ringen in der Kiste in Position. Nun übernimmt das MIRAI-System die Kontrolle: Es bewegt den Roboter selbstständig zum nächsten Ring und bringt den Greifer in die korrekte dreidimensionale Greifposition. Danach übernimmt der UR10e wieder, nimmt den Ring auf und bewegt ihn zum Ablegen auf das Förderband. Das komplette Einrichten des Roboters dauerte lediglich wenige Tage – MIRAI löste in kürzester Zeit ein lang bestehendes Problem.
BSH sucht mit KI nach Kältemittellecks
An ihrem spanischen Standort stellt die BSH Hausgeräte GmbH Kühl- und Gefrierschränke her. Im Herstellungsprozess muss das Unternehmen die Kupferrohrleitungen der Kühlschränke auf Leckagen testen. Für die sogenannte Dichtheitsprüfung wird eine Schnüffelsonde entlang der Kupferrohrleitungen und Kompressoren geführt, um Lötstellen auf austretendes Gas und Kältemittel zu prüfen. Das Besondere: Jede Rückseite der hergestellten Kühlschränke ist einzigartig, was Position, Farbe und Form der Lötpunkte angeht. Für einen herkömmlichen Roboter sind solche Varianzen ein unüberwindbares Hindernis. Der monotone Prüfprozess blieb dem Menschen vorbehalten – bis jetzt.
Den Prüfprozess übernimmt bei BSH nun eine Robotik-Komplettlösung den Prüfprozess. Dank der integrierten Robotersteuerung MIRAI ist es dem Roboter möglich, alle zu prüfenden Lötstellen verlässlich zu identifizieren und die Schnüffelsonde millimetergenau heranzuführen – unabhängig von Position, Form oder Farbe. Das System reagiert in Echtzeit auf seine Umwelt und handhabt selbst unvorhergesehene Abweichungen präzise. Die Roboterfähigkeiten wurden von Mitarbeitenden bei BSH durch menschliche Demonstration in nur wenigen Stunden trainiert. Weder Programmier- noch KI-Kenntnisse waren erforderlich. BSH konnte mit der Automatisierungslösung die laufenden Betriebskosten senken und Wartungen und Fehlerbehebungen reduzieren.
Neue Technologien als Wettbewerbsvorteil
Die Beispiele zeigen, dass Unternehmen mit KI sehr viel bewirken können: KI ermöglicht mehr Flexibilität, Unabhängigkeit, Effizienz und nicht zuletzt Resilienz. Nicht unwichtig in Zeiten wie diesen. Neue Technologien sollte dabei als Türöffner zu mehr Automatisierung verstanden werden. Leistungen, die bislang von Menschen oder Maschinen erbracht wurden, können nun von einer Software geliefert werden. Das ist nicht nur vorteilhaft beim drastisch zunehmenden Arbeitskräftemangel. Es erhöht auch die Flexibilität, Nachvollziehbarkeit und Zuverlässigkeit von Produktionsprozessen und verschafft einen dauerhaften Wettbewerbsvorsprung.
Lettuce is a valuable crop in Europe and the USA. But labor shortages make it difficult to harvest this valuable field vegetable, as sourcing sufficient seasonal labor to meet harvesting commitments is one of the sector’s biggest challenges. Moreover, with wage inflation rising faster than producer prices, margins are very tight. In England, agricultural technology and machinery experts are working with IDS Imaging Development Systems GmbH (Obersulm, Germany) to develop a robotic solution to automate lettuce harvesting.
The team is working on a project funded by Innovate UK and includes experts from the Grimme agricultural machinery factory, the Agri-EPI Centre (Edinburgh UK), Harper Adams University (Newport UK), the Centre for Machine Vision at the University of the West of England (Bristol) and two of the UK’s largest salad producers, G’s Fresh and PDM Produce.
Within the project, existing leek harvesting machinery is adapted to lift the lettuce clear from the ground and grip it in between pinch belts. The lettuce’s outer, or ‘wrapper’, leaves will be mechanically removed to expose the stem. Machine vision and artificial intelligence are then used to identify a precise cut point on the stem to to neatly separate the head of lettuce.
„The cutting process of an iceberg is the most technically complicated step in the process to automate, according to teammates from G subsidiary Salad Harvesting Services Ltd.“, explains IDS Product Sales Specialist Rob Webb. „The prototype harvesting robot being built incorporates a GigE Vision camera from the uEye FA family. It is considered to be particularly robust and is therefore ideally suited to demanding environments. „As this is an outdoor application, a housing with IP65/67 protection is required here“, Rob Webb points out.
The choice fell on the GV-5280FA-C-HQ model with the compact 2/3″ global shutter CMOS sensor IMX264 from Sony. „The sensor was chosen mainly because of its versatility. We don’t need full resolution for AI processing, so sensitivity can be increased by binning. The larger sensor format means that wide-angle optics are not needed either“, Rob Webb summarized the requirements. In the application, the CMOS sensor convinces with excellent image quality, light sensitivity and exceptionally high dynamic range and delivers almost noise-free, very high-contrast 5 MP images in 5:4 format at 22 fps – even in applications with fluctuating light conditions. The extensive range of accessories, such as lens tubes and trailing cables, is just as tough as the camera housing and the screwable connectors (8-pin M12 connector with X-coding and 8-pin Binder connector). Another advantage: camera-internal functions such as pixel pre-processing, LUT or gamma reduce the required computer power to a minimum.
The prototype of the robotic mower will be used for field trials in England towards the end of the 2021 season.
„We are delighted to be involved in the project and look forward to seeing the results. We are convinced of its potential to automate and increase the efficiency of the lettuce harvest, not only in terms of compensating for the lack of seasonal workers“, affirms Jan Hartmann, Managing Director of IDS Imaging Development Systems GmbH.
The challenges facing the agricultural sector are indeed complex. According to a forecast by the United Nations Food and Agriculture Organization (FAO), agricultural productivity will have to increase by almost 50 percent by 2050 compared to 2012 due to the dramatic increase in population. Such a yield expectation means an enormous challenge for the agricultural industry, which is still in its infancy in terms of digitalization compared to other sectors and is already under high pressure to innovate in view of climatic changes and labor shortages. The agriculture of the future is based on networked devices and automation. Cameras are an important building block, and artificial intelligence is a central technology here. Smart applications such as harvesting robots can make a significant contribution to this.
All-in-one embedded vision platform with new tools and functions
(PresseBox) (Obersulm) At IDS, image processing with artificial intelligence does not just mean that AI runs directly on cameras and users also have enormous design options through vision apps. Rather, with the IDS NXT ocean embedded vision platform, customers receive all the necessary, coordinated tools and workflows to realise their own AI vision applications without prior knowledge and to run them directly on the IDS NXT industrial cameras. Now follows the next free software update for the AI package. In addition to the topic of user-friendliness, the focus is also on making artificial intelligence clear and comprehensible for the user.
An all-in-one system such as IDS NXT ocean, which has integrated computing power and artificial intelligence thanks to the „deep ocean core“ developed by IDS, is ideally suited for entry into AI Vision. It requires no prior knowledge of deep learning or camera programming. The current software update makes setting up, deploying and controlling the intelligent cameras in the IDS NXT cockpit even easier. For this purpose, among other things, an ROI editor is integrated with which users can freely draw the image areas to be evaluated and configure, save and reuse them as custom grids with many parameters. In addition, the new tools Attention Maps and Confusion Matrix illustrate how the AI works in the cameras and what decisions it makes. This helps to clarify the process and enables the user to evaluate the quality of a trained neural network and to improve it through targeted retraining. Data security also plays an important role in the industrial use of artificial intelligence. As of the current update, communication between IDS NXT cameras and system components can therefore be encrypted via HTTPS.
Just get started with the IDS NXT ocean Creative Kit
Anyone who wants to test the industrial-grade embedded vision platform IDS NXT ocean and evaluate its potential for their own applications should take a look at the IDS NXT ocean Creative Kit. It provides customers with all the components they need to create, train and run a neural network. In addition to an IDS NXT industrial camera with 1.6 MP Sony sensor, lens, cable and tripod adapter, the package includes six months‘ access to the AI training software IDS NXT lighthouse. Currently, IDS is offering the set in a special promotion at particularly favourable conditions. Promotion page: https://en.ids-imaging.com/ids-nxt-ocean-creative-kit.html.
All-in-One Embedded Vision Plattform mit neuen Werkzeugen und Funktionen
(PresseBox) (Obersulm) Bei IDS bedeutet Bildverarbeitung mit künstlicher Intelligenz nicht nur, dass die KI direkt auf Kameras läuft und Anwender zusätzlich enorme Gestaltungsmöglichkeiten durch Vision Apps haben. Kunden erhalten mit der Embedded-Vision-Plattform IDS NXT ocean vielmehr alle erforderlichen, aufeinander abgestimmten Tools und Workflows, um eigene KI-Vision-Anwendungen ohne Vorwissen zu realisieren und direkt auf den IDS NXT Industriekameras auszuführen. Jetzt folgt das nächste kostenlose Softwareupdate für das KI-Paket. Im Fokus steht neben dem Thema Benutzerfreundlichkeit auch der Anspruch, die künstliche Intelligenz für den Anwender anschaulich und nachvollziehbar zu machen.
Ein All-in-One System wie IDS NXT ocean, das durch den von IDS entwickelten „deep ocean core“ über integrierte Rechenleistung und künstliche Intelligenz verfügt, eignet sich bestens für den Einstieg in AI Vision. Es erfordert weder Vorkenntnisse in Deep Learning noch in der Kameraprogrammierung. Das aktuelle Softwareupdate macht die Einrichtung, Inbetriebnahme und Steuerung der intelligenten Kameras im IDS NXT cockpit noch einfacher. Hierzu wird unter anderem ein ROI-Editor integriert, mit dem Anwender die auszuwertenden Bildbereiche frei zeichnen und als beliebige Raster mit vielen Parametern konfigurieren, speichern und wiederverwenden können. Darüber hinaus veranschaulichen die neuen Werkzeuge Attention Maps und Confusion Matrix, wie die KI in den Kameras arbeitet und welche Entscheidungen sie trifft. Das macht sie transparenter und hilft dem Anwender, die Qualität eines trainierten neuronalen Netzes zu bewerten und durch gezieltes Nachtraining zu verbessern. Beim industriellen Einsatz von künstlicher Intelligenz spielt auch Datensicherheit eine wichtige Rolle. Ab dem aktuellen Update lässt sich die Kommunikation zwischen IDS NXT Kameras und Anlagenkomponenten deshalb per HTTPS verschlüsseln.
Einfach loslegen mit dem IDS NXT ocean Creative Kit
Wer die industrietaugliche Embedded-Vision-Plattform IDS NXT ocean testen und das Potenzial für die eigenen Anwendungen evaluieren möchte, sollte einen Blick auf das IDS NXT ocean Creative Kit werfen. Kunden erhalten damit alle Komponenten, die sie für die Erstellung, das Trainieren und das Ausführen eines neuronalen Netzes benötigen. Neben einer IDS NXT Industriekamera mit 1,6 MP Sony Sensor, Objektiv, Kabel und Stativadapter enthält das Paket u.a. einen sechsmonatigen Zugang zur KI-Trainingssoftware IDS NXT lighthouse. Aktuell bietet IDS das Set in einer Sonderaktion zu besonders günstigen Konditionen an. Aktionsseite: https://de.ids-imaging.com/ids-nxt-ocean-creative-kit.html.
The true AI vision robotic arm powered by Jetson Nano is affordable and open-source, making your AI creativity into reality.
In recent years, there are more makers, students, enthusiasts, and engineers learning artificial intelligence technology, and many interesting AI projects are being developed as well.Hiwonder brings the power of AI to robot, build a true AI robotic arm— JetMax, to enhance the AI and robotic learning experience for everyone.
JetMax featurs Deep Learning and Computer Vision abilities. It is equipped with Jetson Nano and HD Wide Angle camera, which enables it to interact with the perceived environment efficiently. It empowers you to skillfully make your AI creativity into reality.
Being an AI Vision Robotic Arm, JetMax not only features AI vision but has a clever brain as well. Supporting you in learning coding, researching AI robotics applications, and bringing your AI ideas to life. It can be your helping hand in a lab, university, or workshop.
Powered by NVIDIA Jetson Nano
The open-source JetMax robot arm is powered by Jetson Nano, featuring deep learning, computer vision and more. Jetson Nano has the performance needed to power modern AI workloads to enable JetMax robot arm with advanced AI capabilities.
Supports multiple types of EoAT (End-of-Arm Tooling)
Supporting multiple types of end-of-arm tooling such as grippers, suction cup, pen holder, electromagnet etc, JetMax provides you with many ways of creative design applications.
Open-Source
JetMax is an open platform hardware product. We contribute numerous project source and AI tutorials. Additionally, the API interface is completely opened for customization and supports, such as Python, C++ and JAVA languages.
Ingenieur*innen sind zunehmend bestrebt, KI erfolgreich in Projekte und Anwendungen zu integrieren, während sie versuchen, ihre eigene KI-Lernkurve zu meistern. Allerdings werden viele KI-Projekte nach wenig vielversprechenden Ergebnissen wieder verworfen. Woran liegt das? Johanna Pingel, Product Marketing Manager bei MathWorks, erläutert, warum es für Ingenieur*innen wichtig ist, sich auf den gesamten KI-Workflow zu konzentrieren und nicht nur auf die Modellentwicklung:
Ingenieur*innen, die Machine Learning und Deep Learning einsetzen, erwarten oft, dass sie einen großen Teil ihrer Zeit mit der Entwicklung und Feinabstimmung von KI-Modellen verbringen. Die Modellierung ist zwar ein wichtiger Schritt im Workflow, aber das Modell ist nicht alleiniges Ziel. Das Schlüsselelement für den Erfolg bei der praktischen KI-Implementierung ist das frühzeitige Aufdecken von Problemen. Außerdem ist es wichtig zu wissen, auf welche Aspekte des Workflows man Zeit und Ressourcen konzentrieren sollte, um die besten Ergebnisse zu erzielen. Das sind nicht immer die offensichtlichsten Schritte.
Der KI-gesteuerte Workflow
Es lassen sich vier Schritte in einem KI-gesteuerten Workflow differenzieren, wobei jeder Schritt seine eigene Rolle bei der erfolgreichen Implementierung von KI in einem Projekt spielt.
Schritt 1: Datenaufbereitung
Die Datenaufbereitung ist wohl der wichtigste Schritt im KI-Workflow: Ohne robuste und genaue Daten zum Trainieren eines Modells sind Projekte rasch zum Scheitern verurteilt. Wenn Ingenieur*innen das Modell mit „schlechten“ Daten füttern, werden sie keine aufschlussreichen Ergebnisse erhalten – und wahrscheinlich viele Stunden damit verbringen, herauszufinden, warum das Modell nicht funktioniert.
Um ein Modell zu trainieren, sollten Ingenieur*innen mit sauberen, gelabelten Daten beginnen, und zwar mit so vielen wie möglich. Dies kann einer der zeitaufwendigsten Schritte des Workflows sein. Wenn Deep Learning-Modelle nicht wie erwartet funktionieren, konzentrieren sich viele darauf, wie man das Modell verbessern kann – durch das Optimieren von Parametern, die Feinabstimmung des Modells und mehrere Trainingsiterationen. Doch noch viel wichtiger ist die Aufbereitung und das korrekte Labeln der Eingabedaten. Das darf nicht vernachlässigt werden, um sicherzustellen, dass Daten korrekt vom Modell verstanden werden können.
Schritt 2: KI-Modellierung
Sobald die Daten sauber und richtig gelabelt sind, kann zur Modellierungsphase des Workflows übergegangen werden. Hierbei werden die Daten als Input verwendet und das Modell lernt aus diesen Daten. Das Ziel einer erfolgreichen Modellierungsphase ist die Erstellung eines robusten, genauen Modells, das intelligente Entscheidungen auf Basis der Daten treffen kann. Dies ist auch der Punkt, an dem Deep Learning, Machine Learning oder eine Kombination davon in den Arbeitsablauf einfließt. Hier entscheiden die Ingenieur*innen, welche Methoden das präziseste und robusteste Ergebnis hervorbringt.
Die KI-Modellierung ist ein iterativer Schritt innerhalb des gesamten Workflows, und Ingenieur*innen müssen die Änderungen, die sie während dieses Schrittes am Modell vornehmen, nachverfolgen können. Die Nachverfolgung von Änderungen und die Aufzeichnung von Trainingsiterationen mit Tools wie dem Experiment Manager von MathWorks sind entscheidend, da sie helfen die Parameter zu erklären, die zum genauesten Modell führen und reproduzierbare Ergebnisse liefern.
Schritt 3: Simulation und Tests
Ingenieur*innen müssen beachten, dass KI-Elemente meistens nur ein kleiner Teil eines größeren Systems sind. Sie müssen in allen Szenarien im Zusammenspiel mit anderen Teilen des Endprodukts korrekt funktionieren, einschließlich anderer Sensoren und Algorithmen wie Steuerung, Signalverarbeitung und Sensorfusion. Ein Beispiel ist hier ein Szenario für automatisiertes Fahren: Dabei handelt es sich nicht nur um ein System zur Erkennung von Objekten (Fußgänger*innen, Autos, Stoppschilder), sondern dieses System muss mit anderen Systemen zur Lokalisierung, Wegplanung, Steuerung und weiteren integriert werden. Simulationen und Genauigkeitstests sind der Schlüssel, um sicherzustellen, dass das KI-Modell richtig funktioniert und alles gut mit anderen Systemen harmoniert, bevor ein Modell in der realen Welt eingesetzt wird.
Um diesen Grad an Genauigkeit und Robustheit vor dem Einsatz zu erreichen, müssen Ingenieur*innen validieren, dass das Modell in jeder Situation so reagiert, wie es soll. Sie sollten sich auch mit den Fragen befassen, wie exakt das Modell insgesamt ist und ob alle Randfälle abgedeckt sind. Durch den Einsatz von Werkzeugen wie Simulink können Ingenieur*innen überprüfen, ob das Modell für alle erwarteten Anwendungsfälle wie gewünscht funktioniert, und so kosten- und zeitintensive Überarbeitungen vermeiden.
Schritt 4: Einsatz
Ist das Modell reif für die Bereitstellung, folgt als nächster Schritt der Einsatz auf der Zielhardware – mit anderen Worten, die Bereitstellung des Modells in der endgültigen Sprache, in der es implementiert werden soll. Das erfordert in der Regel, dass die Entwicklungsingenieur*innen ein implementierungsbereites Modell nutzen, um es in die vorgesehene Hardwareumgebung einzupassen.
Die vorgesehene Hardwareumgebung kann vom Desktop über die Cloud bis hin zu FPGAs reichen. Mithilfe von flexiblen Werkzeugen wie MATLAB kann der endgültige Code für alle Szenarien generiert werden. Das bietet Ingenieur*innen den Spielraum, ihr Modell in einer Vielzahl von Umgebungen einzusetzen, ohne den ursprünglichen Code neu schreiben zu müssen. Das Deployment eines Modells direkt auf einer GPU kann hier als Beispiel dienen: Die automatische Codegenerierung eliminiert Codierungsfehler, die durch eine manuelle Übersetzung entstehen könnten, und liefert hochoptimierten CUDA-Code, der effizient auf der GPU läuft.
Gemeinsam stärker
Ingenieur*innen müssen keine Datenwissenschaftler*innen oder gar KI-Expert*innen werden, um mit KI erfolgreich zu sein. Mit Werkzeugen für die Datenaufbereitung, Anwendungen zur Integration von KI in ihre Arbeitsabläufe und mit verfügbaren Expert*innen, die Fragen zur KI-Integration beantworten, können sie KI-Modelle auf Erfolgskurs bringen. In jedem dieser Schritte im Workflow haben Ingenieur*innen die Möglichkeit, flexibel ihr eigenes Domänenwissen einzubringen. Dies ist eine wichtige Basis, auf der sie mit den richtigen Ressourcen aufbauen und die sie durch KI ergänzen können.
Über MathWorks
MathWorks ist der führende Entwickler von Software für mathematische Berechnungen. MATLAB, die Programmiersprache für Ingenieurwesen und Wissenschaft, ist eine Programmierumgebung für die Algorithmen-Entwicklung, Analyse und Visualisierung von Daten sowie für numerische Berechnungen. Simulink ist eine Blockdiagramm-basierte Entwicklungsumgebung für die Simulation und das Model-Based Design von technischen Mehrdomänen-Systemen und Embedded Systemen. Ingenieure und Wissenschaftler weltweit setzen diese Produktfamilien ein, um die Forschung sowie Innovationen und Entwicklungen in der Automobilindustrie, der Luft- und Raumfahrt, der Elektronik, dem Finanzwesen, der Biotechnologie und weiteren Industriezweigen zu beschleunigen. MATLAB und Simulink sind zudem an Universitäten und Forschungsinstituten weltweit wichtige Lehr- und Forschungswerkzeuge. MathWorks wurde 1984 gegründet und beschäftigt mehr als 5000 Mitarbeiter in 16 Ländern. Der Hauptsitz des Unternehmens ist Natick, Massachusetts, in den USA. Lokale Niederlassungen in der D-A-CH-Region befinden sich in Aachen, München, Paderborn, Stuttgart und Bern. Weitere Informationen finden Sie unter mathworks.com.
UDOO KEY, the world’s most flexible AI platform, is a brand-new AI-first solution based on Raspberry Pi RP2040 and ESP32. It enables machine learning applications in the most popular programming languages and libraries, including TinyML, TensorFlow Lite, MicroPython, C, C++ etc. The board, designed for Edge AI projects, marks the fifth crowdfunding campaign by UDOO, which already raised more than 2 million dollars in previous Kickstarter campaigns.
UDOO KEY combines Raspberry Pi RP2040 and a fully programmable ESP32 into a single powerful piece of hardware. The board comes in two versions: UDOO KEY and UDOO KEY PRO. Both feature Wi-Fi, Bluetooth and BLE; UDOO KEY PRO also features a 9-axis IMU and a digital microphone. The board is fully compatible, both hardware and software-wise, with Raspberry Pi Pico and ESP32.
UDOO KEY also grants access to Clea, the upcoming AI as a service platform by SECO Mind, SECO’s daughter company. Clea is an extensible AI & IoT platform for professional developers, startups, R&D departments and hobbyists. . It allows users to quickly build, monitor and deploy Artificial Intelligence models and apps over a fleet of remote-controlled devices. It comes with a set of pre-built AI models and apps called Clea Apps, all developed by SECO. Last but not least, it’s natively compatible with UDOO KEY, Raspberry Pi as well as Arm and x86 processors.
Maurizio Caporali, Co-CEO of SECO Mind, said, „Today, AI is very misunderstood. Many AI use cases don’t require a powerful processing unit, and that’s where UDOO KEY comes in. For the first time ever in the world of Edge AI, the user has the option to build an AI project on their terms, using either Raspberry Pi RP2040, ESP32, or both. Several companies we are in touch with find it difficult to take advantage of the AI revolution. UDOO KEY and Clea make this as easy as it gets.”
Shipping will start in January 2022. The Early Bird UDOO KEY is available at $4, while the Early Bird UDOO KEY PRO is available at $9. Both are limited to 1,000 units.
UDOO has also made available two special kits, built in collaboration with two equally special companies: Arducam and Seeed Studio.
The first kit, in collaboration with Arducam, is named „Early Bird UDOO KEY PRO Cam Kit + Clea “ and includes 1x UDOO KEY PRO, a 2MB SPI Camera and access to Clea.
The second kit, in collaboration with SeeedStudio, is named “Early Bird UDOO KEY PRO Grove Kit + Clea” and includes 1x UDOO KEY PRO, access to Clea and 14 handpicked Grove Modules, including 5 sensors/ 5 actuators/ 2LED/ 1 LCD display/ 1 Grove shield.
More details on UDOO KEY
The Raspberry Pi Pico-compatible part of UDOO KEY is built upon a Raspberry PI RP2040 dual Arm Cortex-M0, featuring a QSPI 8MB flash memory, 133 MHZ clock, and 264KB of on-chip SRAM. The ESP32 is based on a dual-core Xtensa 32-bit LX6, with 16 MB flash memory, 8MB PSRAM, Wi-Fi, Bluetooth and Bluetooth Low Energy. The two microcontrollers can talk to each other via serial port and SWD.
The user can program the two microcontrollers in an easy way via a USB-C connector and decide whether to talk with RP2040 or ESP32 via jumper. The UDOO KEY provides many more interfaces: three fully programmable LEDs, and the same pinout of Raspberry Pi Pico, making it 100% compatible with it, both hardware and software-wise. Last but not least, the UEXT connector is accessible from the ESP32, which exposes the I2C, UART and SPI interfaces.
The UDOO KEY also mounts two powerful sensors: a 9-axis IMU and a digital microphone, plus a standard UEXT connector to easily add sensors and other interfaces. Thanks to the on-board ESP32 microcontroller, the UDOO KEY features full Wi-Fi 802.11b/g/n connectivity, Bluetooth and BLE v4.2.
Mobile robot experts AgileX just announced the launch of LIMO – an ROS-based multi-modal car with 4 steering modes and open-source software that is perfect for ROS beginners as well as advanced programmers. This exciting new robotics platform has virtually unlimited applications for education, business and industry and is available now here
LIMO is an incredibly versatile and multifunctional robotic platform for designing and programming robot AI. It uses the modular programming languages ROS 1 or ROS 2 to achieve many functional purposes including mapping, navigation, obstacle avoidance, path planning, and more for educational, commercial and industrial applications.
“At AgileX Robotics our vision is to enable all industries and individuals with the ability to improve productivity and efficiency through robot technology. Our latest product, LIMO is a powerful yet easy to use mobile robotic platform that is perfect for learning ROS, completing tasks for business and education, and beginning a journey in the exciting world of robotics. We designed LIMO to be easy to use with an intuitive programming method and open source capabilities. It’s the best way to get started with robotic AI.” CEO, AgileX Robotics.
Four steering modes make LIMO substantially superior to other robots in its class. The available modes are: Omni Wheel Steering, Tracked Steering, Four-Wheel Differential Steering and Ackermann Steering. These advanced steering modes plus built-in 360° scanning LiDAR and RealSense infrared camera make the platform perfect for industrial and commercial tasks.
Equipped with four other USB ports and powered by Nvidia Jetson Nano, LIMO can be fully customized with other hardware according to one’s needs. LIMO can be connected with open-source ROS 1 & ROS 2. Programming Demo, ROS Packages and Simulation powered by Gazebo are supported as well. With these incredible features, LIMO can achieve precise self-localization, SLAM & V-SLAM mapping, route planning and autonomous obstacle avoidance, reverse parking, traffic light recognition, and more.
LIMO, the world‘s first multi-modal mobile robot with AI modules is currently being launched via a Kickstarter campaign to reward early adopters with special deals and pricing. Learn more here: [LINK]
Researchers from Germany and Canada work on new AI methods for picking robots.
ISLANDIA, NY, July 7, 2021 — Production, warehouse, shipping – where goods are produced, stored, sorted or packed, picking also takes place. This means that several individual goods are removed from storage units such as boxes or cartons and reassembled. With the FLAIROP (Federated Learning for Robot Picking) project Festo and researchers from the Karlsruhe Institute of Technology (KIT), together with partners from Canada, want to make picking robots smarter using distributed AI methods. To do this, they are investigating how to use training data from multiple stations, from multiple plants, or even companies without requiring participants to hand over sensitive company data.
“We are investigating how the most versatile training data possible from multiple locations can be used to develop more robust and efficient solutions using artificial intelligence algorithms than with data from just one robot,“ says Jonathan Auberle from the Institute of Material Handling and Logistics (IFL) at KIT. In the process, items are further processed by autonomous robots at several picking stations by means of gripping and transferring. At the various stations, the robots are trained with very different articles. At the end, they should be able to grasp articles from other stations that they have not yet learned about. „Through the approach of federated learning, we balance data diversity and data security in an industrial environment,“ says the expert.
Powerful algorithms for industry and logistics 4.0
Until now, federated learning has been used predominantly in the medical sector for image analysis, where the protection of patient data is a particularly high priority. Consequently, there is no exchange of training data such as images or grasp points for training the artificial neural network. Only pieces of stored knowledge – the local weights of the neural network that tell how strongly one neuron is connected to another – are transferred to a central server. There, the weights from all stations are collected and optimized using various criteria. Then the improved version is played back to the local stations and the process repeats. The goal is to develop new, more powerful algorithms for the robust use of artificial intelligence for industry and Logistics 4.0 while complying with data protection guidelines.
“In the FLAIROP research project, we are developing new ways for robots to learn from each other without sharing sensitive data and company secrets. This brings two major benefits: we protect our customers‘ data, and we gain speed because the robots can take over many tasks more quickly. In this way, the collaborative robots can, for example, support production workers with repetitive, heavy, and tiring tasks”, explains Jan Seyler, Head of Advanced Develop. Analytics and Control at Festo SE & Co. KG During the project, a total of four autonomous picking stations will be set up for training the robots: Two at the KIT Institute for Material Handling and Logistics (IFL) and two at the Festo SE company based in Esslingen am Neckar.
Start-up DarwinAI and University of Waterloo from Canada are further partners
“DarwinAI is thrilled to provide our Explainable (XAI) platform to the FLAIROP project and pleased to work with such esteemed Canadian and German academic organizations and our industry partner, Festo. We hope that our XAI technology will enable high-value human-in-the-loop processes for this exciting project, which represents an important facet of our offering alongside our novel approach to Federated Learning. Having our roots in academic research, we are enthusiastic about this collaboration and the industrial benefits of our new approach for a range of manufacturing customers”, says Sheldon Fernandez, CEO, DarwinAI.
“The University of Waterloo is ecstatic to be working with Karlsruhe Institute of Technology and a global industrial automation leader like Festo to bring the next generation of trustworthy artificial intelligence to manufacturing. By harnessing DarwinAI’s Explainable AI (XAI) and Federated Learning, we can enable AI solutions to help support factory workers in their daily production tasks to maximize efficiency, productivity, and safety”, says Dr. Alexander Wong, Co-director of the Vision and Image Processing Research Group, University of Waterloo, and Chief Scientist at DarwinAI.
About FLAIROP
The FLAIROP (Federated Learning for Robot Picking) project is a partnership between Canadian and German organizations. The Canadian project partners focus on object recognition through Deep Learning, Explainable AI, and optimization, while the German partners contribute their expertise in robotics, autonomous grasping through Deep Learning, and data security.
KIT-IFL: consortium leadership, development grasp determination, development automatic learning data generation.
KIT-AIFB: Development of Federated Learning Framework
Festo SE & Co. KG: development of picking stations, piloting in real warehouse logistics
University of Waterloo (Canada): Development object recognition
Darwin AI (Canada): Local and Global Network Optimization, Automated Generation of Network Structures
Visit www.festo.com/us for more information on Festo products and services.
About Festo
Festo is a leading manufacturer of pneumatic and electromechanical systems, components, and controls for process and industrial automation. For more than 40 years, Festo Corporation has continuously elevated the state of manufacturing with innovations and optimized motion control solutions that deliver higher performing, more profitable automated manufacturing and processing equipment.
