Schlagwortarchiv: AI

Dolphin 3: Dieser Rettungsroboter rast übers Wasser, um Menschen zu retten

Veröffentlicht am von
Antworten

Stell dir vor, du bist an einem Badesee und plötzlich gerät weit draußen ein Mensch in Not. Ein Rettungsschwimmer macht sich auf den Weg – doch bis er die Person erreicht, können wertvolle Sekunden vergehen.

Genau hier soll ein ungewöhnlicher Helfer unterstützen: Dolphin 3. Der orangefarbene Rettungsroboter flitzt ferngesteuert über das Wasser und kann Menschen in Not zurück ans Ufer bringen. Im Sommer 2026 wurde er unter anderem von der DLRG Ludwigshafen-Oggersheim getestet.

Ein Roboter, der schwimmen kann?

Wenn du bei einem Roboter an Arme, Beine und einen Kopf denkst, wirst du beim Dolphin 3 überrascht sein. Er sieht eher wie eine Mischung aus einem kleinen Schnellboot und einem großen Rettungsbrett aus. An seinen Seiten befinden sich Haltegriffe. Gerät ein Schwimmer in Schwierigkeiten, kann sich die Person daran festhalten. Eine Rettungskraft steuert den Dolphin anschließend zurück Richtung Ufer.

Und dabei ist der kleine Roboter erstaunlich flott: Laut SWR erreicht er bis zu 30 km/h. Selbst wenn er einen Menschen zieht, schafft er noch etwa zwei Meter pro Sekunde, also gut 7 km/h.

Das kann im Notfall einen entscheidenden Unterschied machen.

Wie wird Dolphin 3 gesteuert?

Noch entscheidet Dolphin 3 nicht selbst, wohin er fährt. Eine Rettungskraft steuert ihn per Fernbedienung vom Ufer oder von einem Boot aus. Dabei hilft eine eingebaute Kamera. Außerdem besitzt der Roboter Lautsprecher. Die Retter können damit sogar mit der Person im Wasser sprechen.

Das könnte zum Beispiel so klingen: „Wir sind von der DLRG. Halte dich an den Griffen fest!“ Gerade für einen Menschen, der erschöpft ist oder Angst hat, kann eine solche Ansage wichtig sein. Bei einem Test der DLRG Oggersheim berichtete eine Teilnehmerin tatsächlich, dass es zunächst etwas beängstigend gewesen sei, als das orange blinkende Gerät auf sie zukam. Dann hörte sie die Stimme der Retter über den Lautsprecher.

Warum schickt man nicht einfach einen Rettungsschwimmer?

Natürlich bleiben ausgebildete Rettungskräfte unverzichtbar. Ein Roboter kann nicht jede Situation lösen.

Aber stell dir einen großen See vor: Eine Person befindet sich mehrere Hundert Meter vom Ufer entfernt. Ein Mensch muss diese Strecke erst schwimmen – und braucht anschließend noch genügend Kraft für die Rettung. Dolphin 3 kann dagegen mit hoher Geschwindigkeit über das Wasser fahren. Außerdem muss sich die Rettungskraft nicht sofort selbst in eine möglicherweise gefährliche Situation begeben.

Die DLRG betont deshalb bei solchen Technologien vor allem die mögliche Unterstützung der Einsatzkräfte. Roboter sollen Rettungsschwimmer und Einsatztaucher nicht einfach ersetzen.

Klein genug für den Einsatzwagen

Auch seine Größe macht Dolphin 3 interessant. Bei einer Vorführung am Aartalsee wurden Abmessungen von ungefähr 100 × 70 × 25 Zentimetern und ein Gewicht von rund 16 Kilogramm genannt. Die Reichweite soll etwa 800 Meter, die Einsatzdauer ungefähr eine Stunde betragen.

Damit lässt sich der Roboter vergleichsweise einfach transportieren und im Ernstfall schnell ins Wasser setzen.

Aber funktioniert das schon perfekt?

Nein – und genau deshalb sind Tests so wichtig.

Beim Versuch der DLRG Ludwigshafen-Oggersheim machte sich der Roboter beispielsweise einmal selbstständig. Die Rettungskräfte sammeln deshalb Erfahrungen und geben Rückmeldungen an die Entwickler weiter, damit solche Probleme behoben werden können.

Das zeigt etwas Wichtiges über Robotik: Ein Roboter muss nicht nur im Labor funktionieren. Er muss auch mit Wellen, Wind, erschöpften Menschen und unerwarteten Situationen klarkommen.

Und gerade bei einem Rettungsroboter muss die Technik besonders zuverlässig sein.

Wird Dolphin irgendwann selbstständig retten?

Das wäre der nächste spannende Schritt. ZDF berichtete bereits 2025, dass Dolphin 3 künftig auch autonom fahren soll. Autonom bedeutet: Der Roboter würde bestimmte Aufgaben selbstständig erledigen, statt für jede Bewegung direkt von einem Menschen gesteuert zu werden.

Denkbar wäre beispielsweise, dass Kameras, Sensoren und Künstliche Intelligenz dabei helfen, eine Person im Wasser zu erkennen und einen geeigneten Weg zu ihr zu finden. Bis ein Rettungsroboter solche Entscheidungen zuverlässig selbst übernehmen kann, sind jedoch umfangreiche Tests nötig. Bei einer echten Rettung darf schließlich möglichst nichts schiefgehen.

Fazit: Ein schneller Helfer für den Notfall

Dolphin 3 zeigt ziemlich eindrucksvoll, wie Robotik Menschen bei gefährlichen Aufgaben unterstützen kann. Der Roboter ist schnell, schwimmt nicht müde und kann eine Rettungskraft in kurzer Zeit zu einer Person in Not bringen.

Er ersetzt aber nicht den Menschen. Noch wird Dolphin von ausgebildeten Rettungskräften gesteuert – und genau diese Kombination könnte besonders interessant sein: Der Mensch entscheidet, die Maschine hilft.

Vielleicht gehören solche Rettungsroboter deshalb in einigen Jahren genauso selbstverständlich zur Ausrüstung an großen Badeseen wie heute Rettungsbojen und Rettungsboote.

FuxFun – Wusstest du, dass …?

…Dolphin 3 trotz seines Namens gar nicht wie ein Delfin schwimmt? Er bewegt sich wie ein kleines ferngesteuertes Wasserfahrzeug über die Oberfläche. Und schnell ist er trotzdem: Mit bis zu 30 km/h wäre er für einen Menschen beim Schwimmen praktisch uneinholbar.

Für Profis

Wer tiefer einsteigen möchte, findet bei der DLRG Baden einen Bericht über die Vorstellung des Dolphin III in Offenburg. Auch der WDR hat den Roboter bei einem Test am Tenderingssee begleitet. Besonders interessant: In der Wasserrettung werden inzwischen nicht nur solche Oberflächenroboter erprobt, sondern auch Drohnen, Sonartechnik und Unterwasserroboter.

Quellen

SWR Aktuell (13.07.2026): „Rettungsroboter ‚Dolphin 3‘ soll Menschen schneller retten“
Zum SWR-Bericht
WDR (22.06.2026): „Dolphin 3 im Testeinsatz“
Zum WDR-Bericht
DLRG Landesverband Baden (29.04.2025): „Können Roboter Wasserrettung?“
Zum Bericht der DLRG
ZDFheute (27.07.2025): „Wie Dolphin 3 Ertrinkende retten kann“
Zum ZDF-Bericht

Buchempfehlung: Noch mehr Robotik entdecken

Wie funktionieren Roboter eigentlich? Was ist Künstliche Intelligenz – und wo begegnet sie dir schon heute?

Wenn du noch mehr darüber erfahren möchtest, schau dir „Roboter & KI“ aus der SchlauFUX-Reihe des Kosmos Verlags an. Das Buch erklärt Robotik und KI verständlich für junge Technikfans und neugierige Erwachsene.

Roboter & KI – SchlauFUX beim Kosmos Verlag

Hinweis: Bilder KI generiert.

Wenn Roboter das Neujahrsfest eröffnen – Chinas Hightech-Show auf großer Bühne

Veröffentlicht am von
Antworten

Rote Laternen, Trommeln, Tänzer – und plötzlich marschieren humanoide Roboter auf die Bühne. Was wie eine Szene aus einem Science-Fiction-Film klingt, war in China Teil echter Neujahrs-Inszenierungen. Beim wichtigsten Fest des Jahres zeigt das Land nicht nur Tradition, sondern auch technologische Stärke. Und genau das macht die Roboter-Auftritte so spannend: Sie sind Unterhaltung – und zugleich eine Botschaft an die Welt.

Quelle: CGTN Europe

Die große Neujahrsgala des staatlichen Senders China Central Television – kurz CCTV – erreicht jedes Jahr hunderte Millionen Zuschauerinnen und Zuschauer. In den vergangenen Jahren tauchten dort immer wieder Roboter auf: als Tänzer, als Bühnenfiguren oder als technische Attraktion zwischen klassischen Programmpunkten.

Internationale Tech-Medien wie TechCrunch oder das deutsche Fachportal heise online berichten regelmäßig über Chinas rasante Fortschritte bei humanoiden Robotern. Besonders Unternehmen wie Unitree Robotics stehen dabei im Fokus. Ihre zweibeinigen Modelle können inzwischen stabil laufen, springen – und choreografierte Bewegungen ausführen.

Solche Auftritte sind keine spontanen Showeinlagen. Sie sind sorgfältig geplante Demonstrationen dessen, was technisch bereits möglich ist.

Was steckt technisch dahinter?

Humanoide Roboter sind Maschinen, die dem menschlichen Körper nachempfunden sind. Sie besitzen Beine, Arme und oft einen „Kopf“ mit Kameras. Entscheidend ist aber ihr Inneres:

  • Freiheitsgrade (Degrees of Freedom): Jedes bewegliche Gelenk zählt als eigener Freiheitsgrad. Moderne Humanoiden besitzen oft über 20 davon.
  • Aktuatoren: Das sind die Motoren in den Gelenken. Sie müssen stark, schnell und gleichzeitig präzise sein.
  • Sensoren: Gyroskope und Beschleunigungssensoren messen ständig das Gleichgewicht.
  • KI-Software: Sie berechnet in Echtzeit, wie sich der Roboter bewegen muss, um nicht zu stürzen.

Laut Analysen bei The Decoder ist vor allem die Kombination aus klassischer Regelungstechnik und maschinellem Lernen entscheidend. Roboter trainieren Bewegungsabläufe oft zunächst in Simulationen. Erst wenn dort alles stabil läuft, wird die Choreografie in die echte Maschine übertragen.

Das Ziel: möglichst flüssige, „natürliche“ Bewegungen.

Ein Roboter auf einer Neujahrsbühne ist mehr als Unterhaltung. Er ist auch ein Symbol.

China verfolgt seit Jahren eine klare Industriestrategie, um in Schlüsseltechnologien führend zu werden. Robotik spielt dabei eine zentrale Rolle. Humanoide Roboter gelten als besonders anspruchsvoll – wer sie beherrscht, zeigt technologische Reife.

Fachmedien ordnen das nüchtern ein: Während US-Unternehmen wie Boston Dynamics spektakuläre Bewegungsroboter entwickeln und Firmen wie Tesla an eigenen Humanoiden arbeiten, drängen chinesische Hersteller mit hohem Tempo in den Markt. Serienfertigung und Kostensenkung stehen dabei stark im Fokus.

Eine TV-Gala bietet dafür die perfekte Bühne: Millionen Menschen sehen live, was möglich ist. Das erzeugt Begeisterung – und Vertrauen in die eigene Innovationskraft.

Warum Tanzen so schwierig ist

Vielleicht denkst du: „Tanzen? Das ist doch nur Show!“
Tatsächlich gehört Tanzen zu den schwierigsten Aufgaben für einen Roboter.

Warum?

Weil jede Bewegung perfekt ausbalanciert sein muss. Wenn ein humanoider Roboter nur minimal falsch auftritt, verliert er das Gleichgewicht. Anders als ein Mensch hat er kein natürliches Gefühl für seinen Körper – nur Sensorwerte und Berechnungen.

Moderne Systeme berechnen hunderte Male pro Sekunde:

  • Wo liegt mein Schwerpunkt?
  • Wie schnell bewege ich mich?
  • Wie muss ich meine Füße setzen?

Das alles geschieht in Echtzeit. Genau deshalb gelten solche Auftritte als technologische Demonstration – nicht bloß als Bühnengag.

Ein Blick in die Zukunft

Was heute als Show beginnt, kann morgen Alltag werden. Humanoide Roboter könnten künftig:

  • in Fabriken arbeiten
  • schwere Lasten tragen
  • in Katastrophengebieten helfen
  • in Pflegeeinrichtungen unterstützen

Noch sind sie teuer und komplex. Aber jede öffentliche Demonstration zeigt: Die Entwicklung schreitet schnell voran. Vielleicht sehen wir in ein paar Jahren nicht nur einzelne Roboter bei Paraden – sondern ganze Teams autonomer Maschinen im Alltag.

Fazit

Die Roboter-Auftritte beim chinesischen Neujahrsfest sind weit mehr als futuristische Showeffekte. Sie verbinden Tradition mit Hightech und senden eine klare Botschaft: Robotik ist ein zentraler Zukunftsbereich.

Für dich bedeutet das: Die Welt der Maschinen verändert sich rasant. Was heute noch spektakulär wirkt, könnte morgen ganz normal sein. Und vielleicht bist du es, der oder die eines Tages solche Roboter programmiert.

FuxFun – Wusstest du, dass …?

… ein humanoider Roboter beim Gehen ständig berechnet, wo sein Schwerpunkt liegt? Schon ein Millimeter Abweichung kann über Gleichgewicht oder Sturz entscheiden!

Für Profis

Vertiefende Einordnungen findest du unter anderem bei:

  • heise online – Berichte zu chinesischen Humanoiden und Industriepolitik
  • The Decoder – Analysen zu KI-gestützter Robotik
  • TechCrunch – Marktanalysen und internationale Vergleiche

Suchbegriffe: „China humanoid robot gala“, „Unitree humanoid development“, „China robotics industry strategy“.

Quellen

  • heise online: Berichterstattung zur Entwicklung humanoider Roboter in China (2023–2025)
  • TechCrunch: Analysen zu chinesischen Robotik-Startups
  • The Decoder: Hintergrundberichte zu KI und humanoider Robotik

Buchempfehlung

Wenn du tiefer in die Welt der Roboter eintauchen möchtest, empfehle ich dir das Buch „Roboter & KI“ aus der SchlauFUX-Reihe vom Kosmos Verlag:
👉 https://www.kosmos.de/de/kosmos-schlaufux-roboter-und-ki_1182437_9783440182437 Dort erfährst du anschaulich und verständlich, wie Roboter funktionieren – und warum sie unsere Zukunft verändern werden

M5Stack StackChan Review Video by Robots-Blog

Veröffentlicht am von
Antworten

‪M5Stack‬ Stackchan is now available at @Kickstarter
See my short review Video by ‪@RobotsBlog‬ and get your own Stackchan now!

https://www.kickstarter.com/projects/m5stack/stackchan-the-first-co-created-open-source-ai-desktop-robot?ref=4fblpr

#robot #ai #stackchan #opensource #desktop #desktoprobot #diy #companion

Schülerinnen und Schüler trainieren ihre eigenen neuronalen Netze mit fischertechnik

Veröffentlicht am von
Antworten

fischertechnik setzt einen weiteren Meilenstein in der technischen Bildung. Mit dem neuen Lernkonzept STEM Coding Ultimate AI wird es erstmals möglich, ein neuronales Netzwerk selbst zu trainieren und dessen Funktionsweise von Grund auf zu verstehen. Damit vermittelt fischertechnik jungen Menschen die Programmier- und KI-Kompetenzen der Zukunft – direkt im Klassenzimmer und ohne Cloud-Anbindung.

Der Baukasten STEM Coding Ultimate AI richtet sich an weiterführende Schulen und vermittelt handlungsorientiert die Grundlagen von maschinellem Lernen und KI-gestützter Robotik. Anhand von zwölf vielseitigen, zum Teil erweiterbaren Modellen setzen sich Schülerinnen und Schüler der Sekundarstufe II mit zentralen Fragestellungen der Informationstechnik und der Künstlichen Intelligenz auseinander. Ausgehend von realitätsnahen Szenarien entwickeln sie eigenständig Lösungen für komplexe, problemorientierte Aufgabenstellungen. Ein leistungsstarker Controller, moderne Sensoren und Aktoren, eine benutzerfreundliche App sowie die bewährten fischertechnik Bausteine ermöglichen einen praxisnahen Zugang zu fortgeschrittenen Technologien.

Erste Trainingsschritte lassen sich unmittelbar grafisch darstellen, sodass Lernende den Fortschritt nachvollziehen können. Anschließend können die trainierten Daten per Bluetooth oder über einen WLAN- oder USB-Anschluss an Roboter übertragen werden, die das Gelernte in realen Anwendungen sichtbar machen – beispielsweise nach dem Prinzip eines autonomen Fahrzeugs. Damit wird abstraktes Wissen greifbar, und aus Theorie entsteht erlebbare Praxis.

Lehrkräfte erhalten über didaktisches Begleitmaterial einen leichten Einstieg ins Thema.

Besonders wertvoll ist dieser Ansatz, weil er die sogenannten Future Skills wie projektorientiertes Arbeiten und Teamfähigkeit fördert, die in einer zunehmend digitalisierten Arbeitswelt unverzichtbar sind. Der Umgang mit Künstlicher Intelligenz, das Verständnis neuronaler Netze und die Fähigkeit, Daten eigenständig zu erfassen, zu analysieren und nutzbar zu machen, gehören zu den Schlüsselkompetenzen der kommenden Generation. Schülerinnen und Schüler lernen nicht nur die technischen Grundlagen, sondern entwickeln auch ein tiefes Verständnis dafür, wie KI Entscheidungen trifft. Sie erwerben Grundkenntnisse der neuronalen Netze und KI-Programmierung – ein Wissen, das weit über den schulischen Kontext hinaus Bedeutung hat. Darüber hinaus bauen die Schülerinnen und Schüler ihre Kenntnisse in Informatik und Robotik aus und lernen, die Funktionsweise von Aktoren und Sensoren zu verstehen.

Die Integration von Robo Pro Coding und der fischertechnik STEM Suite ermöglicht einen sanften Einstieg mit Blockly-Programmierung und zugleich den direkten Einblick in professionelle Programmiersprachen wie Python. Der neue Baukasten arbeitet lokal auf dem TXT 4.0 Controller – ganz ohne Cloud. Damit steht Schulen ein zukunftssicheres Werkzeug zur Verfügung, das über Jahre hinweg eingesetzt werden kann.

„Gemäß unserem Motto: wo Neugier Wissen wird, schaffen wir mit unserem Lernkonzept STEM Coding Ultimate AI für Schülerinnen und Schüler die Möglichkeit, Künstliche Intelligenz nicht nur zu konsumieren, sondern aktiv zu gestalten und zu verstehen“, erklärt Martin Rogler, Geschäftsführer fischertechnik. „Denn wer frühzeitig die Grundlagen der KI erlernt, besitzt morgen einen entscheidenden Vorteil in Studium, Beruf und Gesellschaft.“

Das Jahr 2025 markiert zugleich ein besonderes Jubiläum: 60 Jahre fischertechnik. Seit sechs Jahrzehnten inspiriert das Unternehmen Generationen von Tüftlern, Ingenieurinnen und Forschern, Technik spielerisch zu entdecken und zu verstehen. Der neue STEM Coding Ultimate AI Baukasten knüpft als Nachfolger des TXT Base Sets an diese Tradition an und führt sie in die Zukunft – mit einer Innovation, die die Faszination klassischer Baukästen mit den Technologien von morgen verbindet. Im Sinne der Nachhaltigkeit ist STEM Coding Ultimate AI zudem weiterhin kompatibel mit allen verfügbaren TXT 4.0 Base Set Add-Ons für Omniwheels, Industrial Robots, AI, IoT, Competition und Autonomous Driving.

Mit diesem Schritt leistet fischertechnik einen entscheidenden Beitrag zur Förderung von Kreativität und Problemlösungskompetenz sowie für das Verständnis von Zukunftstechnologien. So entsteht ein Produkt, das nicht nur den aktuellen Bildungsbedarf deckt, sondern auch den Geist der Marke seit 60 Jahren weiterträgt: Technik zum Anfassen, Verstehen und Gestalten.

Alexander Zorn vom Fraunhofer IAIS stellt KI gesteuerten Roboterarm im Robots-Blog Interview vor

Veröffentlicht am von
1

Mehr Informationen unter: https://www.iais.fraunhofer.de/de/branchen-themen/themen/intelligente-prozessautomatisierung/gen-ai-robotersteuerung.html

KI-Gestenerkennung mit IDS NXT Kamera lässt igus ReBel Roboter Stein, Schere, Papier gegen Mensch spielen

Veröffentlicht am von
1

Enhancing Drone Navigation with AI and IDS uEye Camera Technology

Veröffentlicht am von
Antworten

AI-driven drone from University of Klagenfurt uses IDS uEye camera for real-time, object-relative navigation—enabling safer, more efficient, and precise inspections.

High-voltage power lines. Electricity distribution station. high voltage electric transmission tower. Distribution electric substation with power lines and transformers.

The inspection of critical infrastructures such as energy plants, bridges or industrial complexes is essential to ensure their safety, reliability and long-term functionality. Traditional inspection methods always require the use of people in areas that are difficult to access or risky. Autonomous mobile robots offer great potential for making inspections more efficient, safer and more accurate. Uncrewed aerial vehicles (UAVs) such as drones in particular have become established as promising platforms, as they can be used flexibly and can even reach areas that are difficult to access from the air. One of the biggest challenges here is to navigate the drone precisely relative to the objects to be inspected in order to reliably capture high-resolution image data or other sensor data.

A research group at the University of Klagenfurt has designed a real-time capable drone based on object-relative navigation using artificial intelligence. Also on board: a USB3 Vision industrial camera from the uEye LE family from IDS Imaging Development Systems GmbH.

As part of the research project, which was funded by the Austrian Federal Ministry for Climate Action, Environment, Energy, Mobility, Innovation and Technology (BMK), the drone must autonomously recognise what is a power pole and what is an insulator on the power pole. It will fly around the insulator at a distance of three meters and take pictures. „Precise localisation is important such that the camera recordings can also be compared across multiple inspection flights,“ explains Thomas Georg Jantos, PhD student and member of the Control of Networked Systems research group at the University of Klagenfurt. The prerequisite for this is that object-relative navigation must be able to extract so-called semantic information about the objects in question from the raw sensory data captured by the camera. Semantic information makes raw data, in this case the camera images, „understandable“ and makes it possible not only to capture the environment, but also to correctly identify and localise relevant objects.

In this case, this means that an image pixel is not only understood as an independent colour value (e.g. RGB value), but as part of an object, e.g. an isolator. In contrast to classic GNNS (Global Navigation Satellite System), this approach not only provides a position in space, but also a precise relative position and orientation with respect to the object to be inspected (e.g. „Drone is located 1.5m to the left of the upper insulator“).

The key requirement is that image processing and data interpretation must be latency-free so that the drone can adapt its navigation and interaction to the specific conditions and requirements of the inspection task in real time.

Thomas Jantos with the inspection drone – Photo: aau/Müller

Semantic information through intelligent image processing
Object recognition, object classification and object pose estimation are performed using artificial intelligence in image processing. „In contrast to GNSS-based inspection approaches using drones, our AI with its semantic information enables the inspection of the infrastructure to be inspected from certain reproducible viewpoints,“ explains Thomas Jantos. „In addition, the chosen approach does not suffer from the usual GNSS problems such as multi-pathing and shadowing caused by large infrastructures or valleys, which can lead to signal degradation and thus to safety risks.“

A USB3 uEye LE serves as the quadcopter’s navigation camera

How much AI fits into a small quadcopter?
The hardware setup consists of a TWINs Science Copter platform equipped with a Pixhawk PX4 autopilot, an NVIDIA Jetson Orin AGX 64GB DevKit as on-board computer and a USB3 Vision industrial camera from IDS. „The challenge is to get the artificial intelligence onto the small helicopters.

The computers on the drone are still too slow compared to the computers used to train the AI. With the first successful tests, this is still the subject of current research,“ says Thomas Jantos, describing the problem of further optimising the high-performance AI model for use on the on-board computer.

The camera, on the other hand, delivers perfect basic data straight away, as the tests in the university’s own drone hall show. When selecting a suitable camera model, it was not just a question of meeting the requirements in terms of speed, size, protection class and, last but not least, price. „The camera’s capabilities are essential for the inspection system’s innovative AI-based navigation algorithm,“ says Thomas Jantos. He opted for the U3-3276LE C-HQ model, a space-saving and cost-effective project camera from the uEye LE family. The integrated Sony Pregius IMX265 sensor is probably the best CMOS image sensor in the 3 MP class and enables a resolution of 3.19 megapixels (2064 x 1544 px) with a frame rate of up to 58.0 fps. The integrated 1/1.8″ global shutter, which does not produce any ‚distorted‘ images at these short exposure times compared to a rolling shutter, is decisive for the performance of the sensor. „To ensure a safe and robust inspection flight, high image quality and frame rates are essential,“ Thomas Jantos emphasises. As a navigation camera, the uEye LE provides the embedded AI with the comprehensive image data that the on-board computer needs to calculate the relative position and orientation with respect to the object to be inspected. Based on this information, the drone is able to correct its pose in real time.

The IDS camera is connected to the on-board computer via a USB3 interface. „With the help of the IDS peak SDK, we can integrate the camera and its functionalities very easily into the ROS (Robot Operating System) and thus into our drone,“ explains Thomas Jantos. IDS peak also enables efficient raw image processing and simple adjustment of recording parameters such as auto exposure, auto white Balancing, auto gain and image downsampling.

To ensure a high level of autonomy, control, mission management, safety monitoring and data recording, the researchers use the source-available CNS Flight Stack on the on-board computer. The CNS Flight Stack includes software modules for navigation, sensor fusion and control algorithms and enables the autonomous execution of reproducible and customisable missions. „The modularity of the CNS Flight Stack and the ROS interfaces enable us to seamlessly integrate our sensors and the AI-based ’state estimator‘ for position detection into the entire stack and thus realise autonomous UAV flights. The functionality of our approach is being analysed and developed using the example of an inspection flight around a power pole in the drone hall at the University of Klagenfurt,“ explains Thomas Jantos.

Visualisation of the flight path of an inspection flight around an electricity pole model with three insulators in the research laboratory at the University of Klagenfurt

Precise, autonomous alignment through sensor fusion
The high-frequency control signals for the drone are generated by the IMU (Inertial Measurement Unit). Sensor fusion with camera data, LIDAR or GNSS (Global Navigation Satellite System) enables real-time navigation and stabilisation of the drone – for example for position corrections or precise alignment with inspection objects. For the Klagenfurt drone, the IMU of the PX4 is used as a dynamic model in an EKF (Extended Kalman Filter). The EKF estimates where the drone should be now based on the last known position, speed and attitude. New data (e.g. from IMU, GNSS or camera) is then recorded at up to 200 Hz and incorprated into the state estimation process.

The camera captures raw images at 50 fps and an image size of 1280 x 960px. „This is the maximum frame rate that we can achieve with our AI model on the drone’s onboard computer,“ explains Thomas Jantos. When the camera is started, an automatic white balance and gain adjustment are carried out once, while the automatic exposure control remains switched off. The EKF compares the prediction and measurement and corrects the estimate accordingly. This ensures that the drone remains stable and can maintain its position autonomously with high precision.

Electricity pole with insulators in the drone hall at the University of Klagenfurt is used for test flights

Outlook
„With regard to research in the field of mobile robots, industrial cameras are necessary for a variety of applications and algorithms. It is important that these cameras are robust, compact, lightweight, fast and have a high resolution. On-device pre-processing (e.g. binning) is also very important, as it saves valuable computing time and resources on the mobile robot,“ emphasises Thomas Jantos.

With corresponding features, IDS cameras are helping to set a new standard in the autonomous inspection of critical infrastructures in this promising research approach, which significantly increases safety, efficiency and data quality.

The Control of Networked Systems (CNS) research group is part of the Institute for Intelligent System Technologies. It is involved in teaching in the English-language Bachelor’s and Master’s programs „Robotics and AI“ and „Information and Communications Engineering (ICE)“ at the University of Klagenfurt. The group’s research focuses on control engineering, state estimation, path and motion planning, modeling of dynamic systems, numerical simulations and the automation of mobile robots in a swarm: More information

uEye LE – the cost-effective, space-saving project camera
Model used:USB3 Vision Industriekamera U3-3276LE Rev.1.2
Camera family: uEye LE

Image rights: Alpen-Adria-Universität (aau) Klagenfurt
© 2025 IDS Imaging Development Systems GmbH

Roboter automatisiert Pick-and-Place-Prozesse mit KI-gestützter Bildverarbeitung

Veröffentlicht am von
Antworten

Pick-and-Place-Anwendungen sind ein zentrales Einsatzgebiet der Robotik. Sie werden häufig in der Industrie genutzt, um Montageprozesse zu beschleunigen und manuelle Tätigkeiten zu reduzieren – ein spannendes Thema für Informatik Masteranden des Instituts für datenoptimierte Fertigung der Hochschule Kempten. Sie entwickelten einen Roboter, der Prozesse durch den Einsatz von künstlicher Intelligenz und Computer Vision optimiert. Auf Basis einer Montagezeichnung ist das System in der Lage, einzelne Bauteile zu greifen und an vorgegebener Stelle abzulegen – vergleichbar mit einem Puzzle. Anschließend können die Teile dort manuell durch einen Mitarbeiter verklebt werden.

Pick-and-Place-Roboter platziert Bauteile ähnlich wie bei einem Puzzle. (© Hochschule Kempten)

Zwei IDS Industriekameras liefern die nötigen Bildinformationen

Mithilfe von zwei uEye XC Kameras und einer KI-gestützten Bildverarbeitung analysiert das System die Umgebung und berechnet präzise Aufnahme- sowie Ablagekoordinaten. Eine der Kameras wurde dazu über der Arbeitsfläche platziert, die andere über der Entnahmestelle. Konkret verarbeitet eine KI-Pipeline die Bilder der beiden Kameras in mehreren Schritten, um die exakte Lage und Ausrichtung der Objekte zu bestimmen. Mithilfe der Computer-Vision-Algorithmen und neuronalen Netzen erkennt das System relevante Merkmale, berechnet die optimalen Greifpunkte und generiert präzise Koordinaten für die Aufnahme und Ablage der Objekte. Zudem identifiziert das System die Teile eindeutig, indem es ihre Oberfläche segmentiert und die Konturen mit einer Datenbank abgleicht. Darüber hinaus nutzt es die Ergebnisse, um eine Annäherung an bereits abgelegte Teile zu ermöglichen. Die Automatisierungslösung reduziert damit die Abhängigkeit von Expertenwissen, verkürzt Prozesszeiten und wirkt dem Fachkräftemangel entgegen.

Roboter greift einzelne Bauteile und positioniert sie an vorgegebener Stelle. (© Hochschule Kempten)

Kameraanforderungen

Schnittstelle, Sensor, Baugröße und Preis waren die Kriterien, die für die Wahl des Kameramodells entscheidend waren. Die uEye XC kombiniert die Benutzerfreundlichkeit einer Webcam mit der Leistungsfähigkeit einer Industriekamera. Sie erfordert lediglich eine Kabelverbindung für den Betrieb. Ausgestattet mit einem 13-MP-onsemi-Sensor (AR1335) liefert die Autofokus-Kamera hochauflösende Bilder und Videos. Eine wechselbare Makro-Aufsatzlinse ermöglicht eine verkürzte Objektdistanz, wodurch die Kamera auch für Nahbereichsanwendungen geeignet ist. Auch ihre Einbindung war denkbar einfach, wie Raphael Seliger, Wissenschaftlicher Mitarbeiter der Hochschule Kempten, erklärt: „Wir binden die Kameras über die IDS peak Schnittstelle an unser Python Backend an.“

Zwei uEye XC Industriekameras liefern die nötigen Bildinformationen. (© Hochschule Kempten)

Ausblick

Zukünftig soll das System durch Reinforcement Learning weiterentwickelt werden – einer Methode des maschinellen Lernens, die auf Lernen durch Versuch und Irrtum beruht. „Wir möchten gerne die KI-Funktionen ausbauen, um die Pick-and-Place Vorgänge intelligenter zu gestalten. Unter Umständen benötigen wir dafür eine zusätzliche Kamera direkt am Roboterarm“, erläutert Seliger. Geplant ist zudem eine automatische Genauigkeitsprüfung der abgelegten Teile. Langfristig soll der Roboter allein anhand der Montagezeichnung alle erforderlichen Schritte eigenständig ausführen können.

Informationen zu uEye XC Kameras

Vention stellt KI-gestützte Bin-Picking-Technologie vor – Live auf der NVIDIA GTC 2025

Veröffentlicht am von
1

SAN JOSÉ, Kalifornien, 18. März 2025 /PRNewswire/ — Vention, Entwickler der weltweit einzigen Full-Stack-Software- und Hardware-Automatisierungsplattform, präsentiert seine KI-gestützte Bin-Picking-Technologie erstmals auf der NVIDIA GTC, der weltweit führenden Entwicklerkonferenz für Künstliche Intelligenz (KI).

Dieses neue, KI-gesteuerte Verfahren ersetzt aufwendige und kostenintensive individuelle Programmierlösungen und erleichtert Unternehmen die Einführung von Automatisierungstechnologie. Die Markteinführung der KI-gestützten Bin-Picking-Technologie ist im weiteren Verlauf des Jahres geplant.

In einer Live-Demonstration wird ein ABB GoFa™ CRB 15000-Roboter – ausgestattet mit einem Vision-System, Finger-Greifern und verbunden mit einem Vention MachineMotion AI-Controller – seine autonomen Fähigkeiten unter Beweis stellen. Mithilfe einer hochgeladenen CAD-Datei des zu verarbeitenden Bauteils versteht der Roboter, wie er das Bauteil erkennen, auswählen, greifen und mit branchenführender Präzision organisieren kann. Diese autonome Funktionalität wird durch leistungsstarke KI-Modelle ermöglicht.

„KI entwickelt sich in rasantem Tempo weiter und hilft Vention dabei, Automatisierung für Unternehmen jeder Größe noch zugänglicher zu machen“, erklärt Etienne Lacroix, Gründer und CEO von Vention. „Unsere neueste Innovation, die Hardware-Integration mit NVIDIA-KI-Modellen kombiniert, geht über reines Identifizieren und Greifen hinaus – sie fügt Intelligenz und Organisation hinzu, wodurch teure Integrations- und Programmieraufwände reduziert werden. Das macht Bin-Picking-Automatisierung für Hersteller erschwinglicher.“

„Generative KI und Simulationstechnologien haben einen Wendepunkt erreicht, um physische KI-Anwendungen in der Produktion voranzutreiben“, sagt Deepu Talla, VP of Robotics bei NVIDIA. „Mit der NVIDIA Isaac Robotics-Plattform bringt Vention die neuesten KI-Innovationen in Fabriken jeder Größe – sowohl für High-Mix- als auch für High-Volume-Fertigung.“

Entdecken Sie hier das KI-gestützte Bin-Picking-Demo-Video.


KI zur Lösung realer Herausforderungen

Die Demonstration ist Teil eines laufenden Entwicklungsprojekts mit McAlpine & Co. Ltd, einem langjährigen Vention-Kunden und führenden britischen Hersteller von Sanitärprodukten mit über 100 Jahren Erfahrung. Das Unternehmen sucht nach einer Automatisierungslösung für Bin-Picking und Maschinenbestückung.

John Gordon, General Manager von McAlpine & Co. Ltd, betont die Herausforderungen, die mit der Automatisierung des Bin-Picking-Prozesses verbunden sind, obwohl es sich auf den ersten Blick um eine einfache Aufgabe handelt: „McAlpine & Co. Ltd war auf der Suche nach einem Automatisierungspartner, dem wir vertrauen können, um unsere Vision umzusetzen: innovative Lösungen, die unseren hohen Qualitätsstandards entsprechen. Im Zentrum dieser Vision steht eine kollaborative Arbeitsumgebung, in der Maschinen arbeitsintensive und repetitive Aufgaben übernehmen, sodass sich unsere Mitarbeiter auf wertschöpfende Tätigkeiten konzentrieren können. Nach dem erfolgreichen Abschluss unseres ersten Automatisierungsprojekts mit Vention sind wir überzeugt, dass nun der richtige Zeitpunkt gekommen ist, um gemeinsam eine hochmoderne, KI-gestützte Bin-Picking-Lösung zu entwickeln.“

Vention Intelligence – Schnellere Wertschöpfung für Hersteller

Der MachineMotion AI-Controller von Vention, basierend auf der NVIDIA Jetson Orin Module-on-Compute-Plattform, bildet das Rückgrat der neuen Entwicklung – er ermöglicht die Echtzeitverarbeitung, die für eine autonome Bin-Picking-Automatisierung im industriellen Maßstab erforderlich ist. Dieses Steuerungssystem geht über herkömmliche SPS-basierte Automatisierung hinaus und verkürzt die Implementierungszeit erheblich.

Durch die Integration modernster, KI-gestützter NVIDIA Isaac CUDA-Bibliotheken und Modelle wie FoundationPose stellt Vention sicher, dass Hersteller von den neuesten KI-Fortschritten profitieren, die jetzt in den Markt eintreten.

„Unsere Strategie, KI-Technologien nahtlos in bestehende Automatisierungslösungen zu integrieren, stellt sicher, dass wir neue Modelle schnell in unsere schlüsselfertigen und anpassbaren Arbeitszellen einbinden können – und damit unseren Kunden aus der Fertigungsindustrie einen Wettbewerbsvorteil verschaffen.“ – François Giguère, Chief Technology Officer bei Vention.

Für weitere Informationen besuchen Sie: www.vention.com/autonomous-operator