Archiv der Kategorie: AI

Robots as helpers in the lettuce harvest

Veröffentlicht am von
Antworten

Robot solution for automating the lettuce harvest

Lettuce is a valuable crop in Europe and the USA. But labor shortages make it difficult to harvest this valuable field vegetable, as sourcing sufficient seasonal labor to meet harvesting commitments is one of the sector’s biggest challenges. Moreover, with wage inflation rising faster than producer prices, margins are very tight. In England, agricultural technology and machinery experts are working with IDS Imaging Development Systems GmbH (Obersulm, Germany) to develop a robotic solution to automate lettuce harvesting.

Robot solution for automating the lettuce harvest

The team is working on a project funded by Innovate UK and includes experts from the Grimme agricultural machinery factory, the Agri-EPI Centre (Edinburgh UK), Harper Adams University (Newport UK), the Centre for Machine Vision at the University of the West of England (Bristol) and two of the UK’s largest salad producers, G’s Fresh and PDM Produce.

Within the project, existing leek harvesting machinery is adapted to lift the lettuce clear from the ground and grip it in between pinch belts. The lettuce’s outer, or ‘wrapper’, leaves will be mechanically removed to expose the stem. Machine vision and artificial intelligence are then used to identify a precise cut point on the stem to to neatly separate the head of lettuce.

„The cutting process of an iceberg is the most technically complicated step in the process to automate, according to teammates from G subsidiary Salad Harvesting Services Ltd.“, explains IDS Product Sales Specialist Rob Webb. „The prototype harvesting robot being built incorporates a GigE Vision camera from the uEye FA family. It is considered to be particularly robust and is therefore ideally suited to demanding environments. „As this is an outdoor application, a housing with IP65/67 protection is required here“, Rob Webb points out.

GV-5280FA

The choice fell on the GV-5280FA-C-HQ model with the compact 2/3″ global shutter CMOS sensor IMX264 from Sony. „The sensor was chosen mainly because of its versatility. We don’t need full resolution for AI processing, so sensitivity can be increased by binning. The larger sensor format means that wide-angle optics are not needed either“, Rob Webb summarized the requirements. In the application, the CMOS sensor convinces with excellent image quality, light sensitivity and exceptionally high dynamic range and delivers almost noise-free, very high-contrast 5 MP images in 5:4 format at 22 fps – even in applications with fluctuating light conditions. The extensive range of accessories, such as lens tubes and trailing cables, is just as tough as the camera housing and the screwable connectors (8-pin M12 connector with X-coding and 8-pin Binder connector). Another advantage: camera-internal functions such as pixel pre-processing, LUT or gamma reduce the required computer power to a minimum.

The prototype of the robotic mower will be used for field trials in England towards the end of the 2021 season.

„We are delighted to be involved in the project and look forward to seeing the results. We are convinced of its potential to automate and increase the efficiency of the lettuce harvest, not only in terms of compensating for the lack of seasonal workers“, affirms Jan Hartmann, Managing Director of IDS Imaging Development Systems GmbH.

Prototype lettuce harvesting robot of Agri-Epicentre (UK)

The challenges facing the agricultural sector are indeed complex. According to a forecast by the United Nations Food and Agriculture Organization (FAO), agricultural productivity will have to increase by almost 50 percent by 2050 compared to 2012 due to the dramatic increase in population. Such a yield expectation means an enormous challenge for the agricultural industry, which is still in its infancy in terms of digitalization compared to other sectors and is already under high pressure to innovate in view of climatic changes and labor shortages. The agriculture of the future is based on networked devices and automation. Cameras are an important building block, and artificial intelligence is a central technology here. Smart applications such as harvesting robots can make a significant contribution to this.

Further development of IDS NXT ocean: focus on user-friendliness and AI transparency

Veröffentlicht am von
Antworten

All-in-one embedded vision platform with new tools and functions

(PresseBox) (Obersulm) At IDS, image processing with artificial intelligence does not just mean that AI runs directly on cameras and users also have enormous design options through vision apps. Rather, with the IDS NXT ocean embedded vision platform, customers receive all the necessary, coordinated tools and workflows to realise their own AI vision applications without prior knowledge and to run them directly on the IDS NXT industrial cameras. Now follows the next free software update for the AI package. In addition to the topic of user-friendliness, the focus is also on making artificial intelligence clear and comprehensible for the user.

An all-in-one system such as IDS NXT ocean, which has integrated computing power and artificial intelligence thanks to the „deep ocean core“ developed by IDS, is ideally suited for entry into AI Vision. It requires no prior knowledge of deep learning or camera programming. The current software update makes setting up, deploying and controlling the intelligent cameras in the IDS NXT cockpit even easier. For this purpose, among other things, an ROI editor is integrated with which users can freely draw the image areas to be evaluated and configure, save and reuse them as custom grids with many parameters. In addition, the new tools Attention Maps and Confusion Matrix illustrate how the AI works in the cameras and what decisions it makes. This helps to clarify the process and enables the user to evaluate the quality of a trained neural network and to improve it through targeted retraining. Data security also plays an important role in the industrial use of artificial intelligence. As of the current update, communication between IDS NXT cameras and system components can therefore be encrypted via HTTPS.

Just get started with the IDS NXT ocean Creative Kit

Anyone who wants to test the industrial-grade embedded vision platform IDS NXT ocean and evaluate its potential for their own applications should take a look at the IDS NXT ocean Creative Kit. It provides customers with all the components they need to create, train and run a neural network. In addition to an IDS NXT industrial camera with 1.6 MP Sony sensor, lens, cable and tripod adapter, the package includes six months‘ access to the AI training software IDS NXT lighthouse. Currently, IDS is offering the set in a special promotion at particularly favourable conditions. Promotion page: https://en.ids-imaging.com/ids-nxt-ocean-creative-kit.html.

Learn more: www.ids-nxt.com

Weiterentwicklung von IDS NXT ocean: Fokus auf Benutzerfreundlichkeit und KI-Transparenz

Veröffentlicht am von
Antworten

All-in-One Embedded Vision Plattform mit neuen Werkzeugen und Funktionen

(PresseBox) (Obersulm) Bei IDS bedeutet Bildverarbeitung mit künstlicher Intelligenz nicht nur, dass die KI direkt auf Kameras läuft und Anwender zusätzlich enorme Gestaltungsmöglichkeiten durch Vision Apps haben. Kunden erhalten mit der Embedded-Vision-Plattform IDS NXT ocean vielmehr alle erforderlichen, aufeinander abgestimmten Tools und Workflows, um eigene KI-Vision-Anwendungen ohne Vorwissen zu realisieren und direkt auf den IDS NXT Industriekameras auszuführen. Jetzt folgt das nächste kostenlose Softwareupdate für das KI-Paket. Im Fokus steht neben dem Thema Benutzerfreundlichkeit auch der Anspruch, die künstliche Intelligenz für den Anwender anschaulich und nachvollziehbar zu machen.

Ein All-in-One System wie IDS NXT ocean, das durch den von IDS entwickelten „deep ocean core“ über integrierte Rechenleistung und künstliche Intelligenz verfügt, eignet sich bestens für den Einstieg in AI Vision. Es erfordert weder Vorkenntnisse in Deep Learning noch in der Kameraprogrammierung. Das aktuelle Softwareupdate macht die Einrichtung, Inbetriebnahme und Steuerung der intelligenten Kameras im IDS NXT cockpit noch einfacher. Hierzu wird unter anderem ein ROI-Editor integriert, mit dem Anwender die auszuwertenden Bildbereiche frei zeichnen und als beliebige Raster mit vielen Parametern konfigurieren, speichern und wiederverwenden können. Darüber hinaus veranschaulichen die neuen Werkzeuge Attention Maps und Confusion Matrix, wie die KI in den Kameras arbeitet und welche Entscheidungen sie trifft. Das macht sie transparenter und hilft dem Anwender, die Qualität eines trainierten neuronalen Netzes zu bewerten und durch gezieltes Nachtraining zu verbessern. Beim industriellen Einsatz von künstlicher Intelligenz spielt auch Datensicherheit eine wichtige Rolle. Ab dem aktuellen Update lässt sich die Kommunikation zwischen IDS NXT Kameras und Anlagenkomponenten deshalb per HTTPS verschlüsseln. 

Einfach loslegen mit dem IDS NXT ocean Creative Kit

Wer die industrietaugliche Embedded-Vision-Plattform IDS NXT ocean testen und das Potenzial für die eigenen Anwendungen evaluieren möchte, sollte einen Blick auf das IDS NXT ocean Creative Kit werfen. Kunden erhalten damit alle Komponenten, die sie für die Erstellung, das Trainieren und das Ausführen eines neuronalen Netzes benötigen. Neben einer IDS NXT Industriekamera mit 1,6 MP Sony Sensor, Objektiv, Kabel und Stativadapter enthält das Paket u.a. einen sechsmonatigen Zugang zur KI-Trainingssoftware IDS NXT lighthouse. Aktuell bietet IDS das Set in einer Sonderaktion zu besonders günstigen Konditionen an. Aktionsseite: https://de.ids-imaging.com/ids-nxt-ocean-creative-kit.html.

Weitere Informationen: www.ids-nxt.de

JetMax: The AI Vision Robotic Arm for Endless Creativity

Veröffentlicht am von
Antworten

The true AI vision robotic arm powered by Jetson Nano is affordable and open-source, making your AI creativity into reality.

In recent years, there are more makers, students, enthusiasts, and engineers learning artificial intelligence technology, and many interesting AI projects are being developed as well. Hiwonder brings the power of AI to robot, build a true AI robotic arm — JetMax, to enhance the AI and robotic learning experience for everyone.

JetMax featurs Deep Learning and Computer Vision abilities. It is equipped with Jetson Nano and HD Wide Angle camera, which enables it to interact with the perceived environment efficiently. It empowers you to skillfully make your AI creativity into reality.

Being an AI Vision Robotic Arm, JetMax not only features AI vision but has a clever brain as well. Supporting you in learning coding, researching AI robotics applications, and bringing your AI ideas to life. It can be your helping hand in a lab, university, or workshop.

  • Powered by NVIDIA Jetson Nano

The open-source JetMax robot arm is powered by Jetson Nano, featuring deep learning, computer vision and more. Jetson Nano has the performance needed to power modern AI workloads to enable JetMax robot arm with advanced AI capabilities.

  • Supports multiple types of EoAT (End-of-Arm Tooling)

Supporting multiple types of end-of-arm tooling such as grippers, suction cup, pen holder, electromagnet etc, JetMax provides you with many ways of creative design applications.

  • Open-Source

JetMax is an open platform hardware product. We contribute numerous project source and AI tutorials. Additionally, the API interface is completely opened for customization and supports, such as Python, C++ and JAVA languages. 

KI ist mehr als nur ein Modell: Vier Schritte zum vollständigen Workflow-Erfolg

Veröffentlicht am von
Antworten

Ingenieur*innen sind zunehmend bestrebt, KI erfolgreich in Projekte und Anwendungen zu integrieren, während sie versuchen, ihre eigene KI-Lernkurve zu meistern. Allerdings werden viele KI-Projekte nach wenig vielversprechenden Ergebnissen wieder verworfen. Woran liegt das? Johanna Pingel, Product Marketing Manager bei MathWorks, erläutert, warum es für Ingenieur*innen wichtig ist, sich auf den gesamten KI-Workflow zu konzentrieren und nicht nur auf die Modellentwicklung:

Ingenieur*innen, die Machine Learning und Deep Learning einsetzen, erwarten oft, dass sie einen großen Teil ihrer Zeit mit der Entwicklung und Feinabstimmung von KI-Modellen verbringen. Die Modellierung ist zwar ein wichtiger Schritt im Workflow, aber das Modell ist nicht alleiniges Ziel. Das Schlüsselelement für den Erfolg bei der praktischen KI-Implementierung ist das frühzeitige Aufdecken von Problemen. Außerdem ist es wichtig zu wissen, auf welche Aspekte des Workflows man Zeit und Ressourcen konzentrieren sollte, um die besten Ergebnisse zu erzielen. Das sind nicht immer die offensichtlichsten Schritte.

Der KI-gesteuerte Workflow

Es lassen sich vier Schritte in einem KI-gesteuerten Workflow differenzieren, wobei jeder Schritt seine eigene Rolle bei der erfolgreichen Implementierung von KI in einem Projekt spielt.
 

Schritt 1: Datenaufbereitung

Die Datenaufbereitung ist wohl der wichtigste Schritt im KI-Workflow: Ohne robuste und genaue Daten zum Trainieren eines Modells sind Projekte rasch zum Scheitern verurteilt. Wenn Ingenieur*innen das Modell mit „schlechten“ Daten füttern, werden sie keine aufschlussreichen Ergebnisse erhalten – und wahrscheinlich viele Stunden damit verbringen, herauszufinden, warum das Modell nicht funktioniert.

Um ein Modell zu trainieren, sollten Ingenieur*innen mit sauberen, gelabelten Daten beginnen, und zwar mit so vielen wie möglich. Dies kann einer der zeitaufwendigsten Schritte des Workflows sein. Wenn Deep Learning-Modelle nicht wie erwartet funktionieren, konzentrieren sich viele darauf, wie man das Modell verbessern kann – durch das Optimieren von Parametern, die Feinabstimmung des Modells und mehrere Trainingsiterationen. Doch noch viel wichtiger ist die Aufbereitung und das korrekte Labeln der Eingabedaten. Das darf nicht vernachlässigt werden, um sicherzustellen, dass Daten korrekt vom Modell verstanden werden können.
 

Schritt 2: KI-Modellierung

Sobald die Daten sauber und richtig gelabelt sind, kann zur Modellierungsphase des Workflows übergegangen werden. Hierbei werden die Daten als Input verwendet und das Modell lernt aus diesen Daten. Das Ziel einer erfolgreichen Modellierungsphase ist die Erstellung eines robusten, genauen Modells, das intelligente Entscheidungen auf Basis der Daten treffen kann. Dies ist auch der Punkt, an dem Deep Learning, Machine Learning oder eine Kombination davon in den Arbeitsablauf einfließt. Hier entscheiden die Ingenieur*innen, welche Methoden das präziseste und robusteste Ergebnis hervorbringt.

Die KI-Modellierung ist ein iterativer Schritt innerhalb des gesamten Workflows, und Ingenieur*innen müssen die Änderungen, die sie während dieses Schrittes am Modell vornehmen, nachverfolgen können. Die Nachverfolgung von Änderungen und die Aufzeichnung von Trainingsiterationen mit Tools wie dem Experiment Manager von MathWorks sind entscheidend, da sie helfen die Parameter zu erklären, die zum genauesten Modell führen und reproduzierbare Ergebnisse liefern.
 

Schritt 3: Simulation und Tests

Ingenieur*innen müssen beachten, dass KI-Elemente meistens nur ein kleiner Teil eines größeren Systems sind. Sie müssen in allen Szenarien im Zusammenspiel mit anderen Teilen des Endprodukts korrekt funktionieren, einschließlich anderer Sensoren und Algorithmen wie Steuerung, Signalverarbeitung und Sensorfusion. Ein Beispiel ist hier ein Szenario für automatisiertes Fahren: Dabei handelt es sich nicht nur um ein System zur Erkennung von Objekten (Fußgänger*innen, Autos, Stoppschilder), sondern dieses System muss mit anderen Systemen zur Lokalisierung, Wegplanung, Steuerung und weiteren integriert werden. Simulationen und Genauigkeitstests sind der Schlüssel, um sicherzustellen, dass das KI-Modell richtig funktioniert und alles gut mit anderen Systemen harmoniert, bevor ein Modell in der realen Welt eingesetzt wird.

Um diesen Grad an Genauigkeit und Robustheit vor dem Einsatz zu erreichen, müssen Ingenieur*innen validieren, dass das Modell in jeder Situation so reagiert, wie es soll. Sie sollten sich auch mit den Fragen befassen, wie exakt das Modell insgesamt ist und ob alle Randfälle abgedeckt sind. Durch den Einsatz von Werkzeugen wie Simulink können Ingenieur*innen überprüfen, ob das Modell für alle erwarteten Anwendungsfälle wie gewünscht funktioniert, und so kosten- und zeitintensive Überarbeitungen vermeiden.
 

Schritt 4: Einsatz

Ist das Modell reif für die Bereitstellung, folgt als nächster Schritt der Einsatz auf der Zielhardware – mit anderen Worten, die Bereitstellung des Modells in der endgültigen Sprache, in der es implementiert werden soll. Das erfordert in der Regel, dass die Entwicklungsingenieur*innen ein implementierungsbereites Modell nutzen, um es in die vorgesehene Hardwareumgebung einzupassen.

Die vorgesehene Hardwareumgebung kann vom Desktop über die Cloud bis hin zu FPGAs reichen. Mithilfe von flexiblen Werkzeugen wie MATLAB kann der endgültige Code für alle Szenarien generiert werden. Das bietet Ingenieur*innen den Spielraum, ihr Modell in einer Vielzahl von Umgebungen einzusetzen, ohne den ursprünglichen Code neu schreiben zu müssen. Das Deployment eines Modells direkt auf einer GPU kann hier als Beispiel dienen: Die automatische Codegenerierung eliminiert Codierungsfehler, die durch eine manuelle Übersetzung entstehen könnten, und liefert hochoptimierten CUDA-Code, der effizient auf der GPU läuft.

Gemeinsam stärker

Ingenieur*innen müssen keine Datenwissenschaftler*innen oder gar KI-Expert*innen werden, um mit KI erfolgreich zu sein. Mit Werkzeugen für die Datenaufbereitung, Anwendungen zur Integration von KI in ihre Arbeitsabläufe und mit verfügbaren Expert*innen, die Fragen zur KI-Integration beantworten, können sie KI-Modelle auf Erfolgskurs bringen. In jedem dieser Schritte im Workflow haben Ingenieur*innen die Möglichkeit, flexibel ihr eigenes Domänenwissen einzubringen. Dies ist eine wichtige Basis, auf der sie mit den richtigen Ressourcen aufbauen und die sie durch KI ergänzen können.

Über MathWorks

MathWorks ist der führende Entwickler von Software für mathematische Berechnungen. MATLAB, die Programmiersprache für Ingenieurwesen und Wissenschaft, ist eine Programmierumgebung für die Algorithmen-Entwicklung, Analyse und Visualisierung von Daten sowie für numerische Berechnungen. Simulink ist eine Blockdiagramm-basierte Entwicklungsumgebung für die Simulation und das Model-Based Design von technischen Mehrdomänen-Systemen und Embedded Systemen. Ingenieure und Wissenschaftler weltweit setzen diese Produktfamilien ein, um die Forschung sowie Innovationen und Entwicklungen in der Automobilindustrie, der Luft- und Raumfahrt, der Elektronik, dem Finanzwesen, der Biotechnologie und weiteren Industriezweigen zu beschleunigen. MATLAB und Simulink sind zudem an Universitäten und Forschungsinstituten weltweit wichtige Lehr- und Forschungswerkzeuge. MathWorks wurde 1984 gegründet und beschäftigt mehr als 5000 Mitarbeiter in 16 Ländern. Der Hauptsitz des Unternehmens ist Natick, Massachusetts, in den USA. Lokale Niederlassungen in der D-A-CH-Region befinden sich in Aachen, München, Paderborn, Stuttgart und Bern. Weitere Informationen finden Sie unter mathworks.com.

UDOO KEY hits the $10,000 Kickstarter goal in 90 minutes

Veröffentlicht am von
Antworten

UDOO KEY, the world’s most flexible AI platform, is a brand-new AI-first solution based on Raspberry Pi RP2040 and ESP32. It enables machine learning applications in the most popular programming languages and libraries, including TinyML, TensorFlow Lite, MicroPython, C, C++ etc. The board, designed for Edge AI projects, marks the fifth crowdfunding campaign by UDOO, which already raised more than 2 million dollars in previous Kickstarter campaigns.

Link to the campaign: key.udoo.org

UDOO KEY combines Raspberry Pi RP2040 and a fully programmable ESP32 into a single powerful piece of hardware. The board comes in two versions: UDOO KEY and UDOO KEY PRO. Both feature Wi-Fi, Bluetooth and BLE; UDOO KEY PRO also features a 9-axis IMU and a digital microphone. The board is fully compatible, both hardware and software-wise, with Raspberry Pi Pico and ESP32.

UDOO KEY also grants access to Clea, the upcoming AI as a service platform by SECO Mind, SECO’s daughter company. Clea is an extensible AI & IoT platform for professional developers, startups, R&D departments and hobbyists. . It allows users to quickly build, monitor and deploy Artificial Intelligence models and apps over a fleet of remote-controlled devices. It comes with a set of pre-built AI models and apps called Clea Apps, all developed by SECO. Last but not least, it’s natively compatible with UDOO KEY, Raspberry Pi as well as Arm and x86 processors. 

Maurizio Caporali, Co-CEO of SECO Mind, said, „Today, AI is very misunderstood. Many AI use cases don’t require a powerful processing unit, and that’s where UDOO KEY comes in. For the first time ever in the world of Edge AI, the user has the option to build an AI project on their terms, using either Raspberry Pi RP2040, ESP32, or both. Several companies we are in touch with find it difficult to take advantage of the AI revolution. UDOO KEY and Clea make this as easy as it gets.”

Shipping will start in January 2022. The Early Bird UDOO KEY is available at $4, while the Early Bird UDOO KEY PRO is available at $9. Both are limited to 1,000 units. 

UDOO has also made available two special kits, built in collaboration with two equally special companies: Arducam and Seeed Studio. 

The first kit, in collaboration with Arducam, is named „Early Bird UDOO KEY PRO Cam Kit + Clea “ and includes 1x UDOO KEY PRO, a 2MB SPI Camera and access to Clea.

The second kit, in collaboration with SeeedStudio, is named “Early Bird UDOO KEY PRO Grove Kit + Clea” and includes 1x UDOO KEY PRO, access to Clea and 14 handpicked Grove Modules, including 5 sensors/ 5 actuators/ 2LED/ 1 LCD display/ 1 Grove shield.

More details on UDOO KEY

The Raspberry Pi Pico-compatible part of UDOO KEY is built upon a Raspberry PI RP2040 dual Arm Cortex-M0, featuring a QSPI 8MB flash memory, 133 MHZ clock, and 264KB of on-chip SRAM.  The ESP32 is based on a dual-core Xtensa 32-bit LX6, with 16 MB flash memory, 8MB PSRAM, Wi-Fi, Bluetooth and Bluetooth Low Energy. The two microcontrollers can talk to each other via serial port and SWD.

The user can program the two microcontrollers in an easy way via a USB-C connector and decide whether to talk with RP2040 or ESP32 via jumper. The UDOO KEY provides many more interfaces: three fully programmable LEDs, and the same pinout of Raspberry Pi Pico, making it 100% compatible with it, both hardware and software-wise. Last but not least, the UEXT connector is accessible from the ESP32, which exposes the I2C, UART and SPI interfaces.

The UDOO KEY also mounts two powerful sensors: a 9-axis IMU and a digital microphone, plus a standard UEXT connector to easily add sensors and other interfaces. Thanks to the on-board ESP32 microcontroller, the UDOO KEY features full Wi-Fi 802.11b/g/n connectivity, Bluetooth and BLE v4.2.  

Link to the Campaign: key.udoo.org

AgileX Robotics Announces Launch of LIMO, the World‘s First Multi-modal Mobile Robot with AI Modules

Veröffentlicht am von
Antworten

Mobile robot experts AgileX just announced the launch of LIMO – an ROS-based multi-modal car with 4 steering modes and open-source software that is perfect for ROS beginners as well as advanced programmers. This exciting new robotics platform has virtually unlimited applications for education, business and industry and is available now here

 LIMO is an incredibly versatile and multifunctional robotic platform for designing and programming robot AI. It uses the modular programming languages ROS 1 or ROS 2 to achieve many functional purposes including mapping, navigation, obstacle avoidance, path planning, and more for educational, commercial and industrial applications.

“At AgileX Robotics our vision is to enable all industries and individuals with the ability to improve productivity and efficiency through robot technology. Our latest product, LIMO is a powerful yet easy to use mobile robotic platform that is perfect for learning ROS, completing tasks for business and education, and beginning a journey in the exciting world of robotics. We designed LIMO to be easy to use with an intuitive programming method and open source capabilities. It’s the best way to get started with robotic AI.”  CEO, AgileX Robotics. 

Four steering modes make LIMO substantially superior to other robots in its class. The available modes are: Omni Wheel Steering, Tracked Steering, Four-Wheel Differential Steering and Ackermann Steering. These advanced steering modes plus built-in 360° scanning LiDAR and RealSense infrared camera make the platform perfect for industrial and commercial tasks. 

Equipped with four other USB ports and powered by Nvidia Jetson Nano, LIMO can be fully customized with other hardware according to one’s needs. LIMO can be connected with open-source ROS 1 & ROS 2. Programming Demo, ROS Packages and Simulation powered by Gazebo are supported as well. With these incredible features, LIMO can achieve precise self-localization, SLAM & V-SLAM mapping, route planning and autonomous obstacle avoidance, reverse parking, traffic light recognition, and more.

LIMO, the world‘s first multi-modal mobile robot with AI modules is currently being launched via a Kickstarter campaign to reward early adopters with special deals and pricing. Learn more here: [LINK]

Better gripping with intelligent picking robots

Veröffentlicht am von
Antworten

Researchers from Germany and Canada work on new AI methods for picking robots.

 ISLANDIA, NY, July 7, 2021 — Production, warehouse, shipping – where goods are produced, stored, sorted or packed, picking also takes place. This means that several individual goods are removed from storage units such as boxes or cartons and reassembled. With the FLAIROP (Federated Learning for Robot Picking) project Festo and researchers from the Karlsruhe Institute of Technology (KIT), together with partners from Canada, want to make picking robots smarter using distributed AI methods. To do this, they are investigating how to use training data from multiple stations, from multiple plants, or even companies without requiring participants to hand over sensitive company data. 

“We are investigating how the most versatile training data possible from multiple locations can be used to develop more robust and efficient solutions using artificial intelligence algorithms than with data from just one robot,“ says Jonathan Auberle from the Institute of Material Handling and Logistics (IFL) at KIT. In the process, items are further processed by autonomous robots at several picking stations by means of gripping and transferring. At the various stations, the robots are trained with very different articles. At the end, they should be able to grasp articles from other stations that they have not yet learned about. „Through the approach of federated learning, we balance data diversity and data security in an industrial environment,“ says the expert.

Powerful algorithms for industry and logistics 4.0

Until now, federated learning has been used predominantly in the medical sector for image analysis, where the protection of patient data is a particularly high priority. Consequently, there is no exchange of training data such as images or grasp points for training the artificial neural network. Only pieces of stored knowledge – the local weights of the neural network that tell how strongly one neuron is connected to another – are transferred to a central server. There, the weights from all stations are collected and optimized using various criteria. Then the improved version is played back to the local stations and the process repeats. The goal is to develop new, more powerful algorithms for the robust use of artificial intelligence for industry and Logistics 4.0 while complying with data protection guidelines.

“In the FLAIROP research project, we are developing new ways for robots to learn from each other without sharing sensitive data and company secrets. This brings two major benefits: we protect our customers‘ data, and we gain speed because the robots can take over many tasks more quickly. In this way, the collaborative robots can, for example, support production workers with repetitive, heavy, and tiring tasks”, explains Jan Seyler, Head of Advanced Develop. Analytics and Control at Festo SE & Co. KG During the project, a total of four autonomous picking stations will be set up for training the robots: Two at the KIT Institute for Material Handling and Logistics (IFL) and two at the Festo SE company based in Esslingen am Neckar.

Start-up DarwinAI and University of Waterloo from Canada are further partners

“DarwinAI is thrilled to provide our Explainable (XAI) platform to the FLAIROP project and pleased to work with such esteemed Canadian and German academic organizations and our industry partner, Festo. We hope that our XAI technology will enable high-value human-in-the-loop processes for this exciting project, which represents an important facet of our offering alongside our novel approach to Federated Learning.  Having our roots in academic research, we are enthusiastic about this collaboration and the industrial benefits of our new approach for a range of manufacturing customers”, says Sheldon Fernandez, CEO, DarwinAI.

“The University of Waterloo is ecstatic to be working with Karlsruhe Institute of Technology and a global industrial automation leader like Festo to bring the next generation of trustworthy artificial intelligence to manufacturing.  By harnessing DarwinAI’s Explainable AI (XAI) and Federated Learning, we can enable AI solutions to help support factory workers in their daily production tasks to maximize efficiency, productivity, and safety”, says Dr. Alexander Wong, Co-director of the Vision and Image Processing Research Group, University of Waterloo, and Chief Scientist at DarwinAI.

About FLAIROP

The FLAIROP (Federated Learning for Robot Picking) project is a partnership between Canadian and German organizations. The Canadian project partners focus on object recognition through Deep Learning, Explainable AI, and optimization, while the German partners contribute their expertise in robotics, autonomous grasping through Deep Learning, and data security.

  • KIT-IFL: consortium leadership, development grasp determination, development automatic learning data generation.
  • KIT-AIFB: Development of Federated Learning Framework
  • Festo SE & Co. KG: development of picking stations, piloting in real warehouse logistics
  • University of Waterloo (Canada): Development object recognition
  • Darwin AI (Canada): Local and Global Network Optimization, Automated Generation of Network Structures

Visit www.festo.com/us for more information on Festo products and services.

About Festo

Festo is a leading manufacturer of pneumatic and electromechanical systems, components, and controls for process and industrial automation. For more than 40 years, Festo Corporation has continuously elevated the state of manufacturing with innovations and optimized motion control solutions that deliver higher performing, more profitable automated manufacturing and processing equipment.

Connect with Festo: Facebook, LinkedIn, Twitter and YouTube

QUADRUPED A1 – Four-legged robot combines artificial intelligence and sophisticated motion sequences

Veröffentlicht am von
1

The newly founded company QUADRUPED Robotics is the first and currently the only German company to introduce fully modifiable multi-legged robots to the European market. In doing so, this form of robot represents a novelty: the four-legged robots combine artificial intelligence with new motion sequences and individually customizable equipment.
The A1 robot in the QUADRUPED line is based on the Robot Operating System (ROS.org) and can thus be adapted to its environment and requirements. However, even the basic equipment enables a wide range of applications.

By means of an AI-controlled and depth-sensing smart camera, HD recordings can be transmitted in real time and to a terminal device. At the same time, the integrated multi-eye camera offers real-time tracking of objects in sight, gesture recognition and target tracking following specific movement patterns.

The basis for the development of an environment map is the visual SLAM. QUADRUPED A1 calculates paths, obstacles, routes and navigation points. This leads to vision-based autonomous obstacle avoidance. In addition, QUADRUPED A1 also recognizes obstacle shapes and an adjustment of the body position takes place. If an impact or fall does occur, the advanced dynamic balancing algorithm allows balance to be quickly restored. Further measurement data as well as more dynamic behavior can be achieved by integrating additional sensor technology, such as that of a 3D LiDAR or further camera modules.

The QUADRUPED A1 incorporates the unique patented sensitive foot contact. Each of the four feet can be controlled individually. The smart actuators provide precise footing as well as different gaits. The system is based on a low-level control developed by QUADRUPED Robotics, which can read out the position including torque and current consumption at any time. The foot end is waterproof and dustproof and can be easily replaced after wear.
The A1 impressed with its latest measured top speed of 11.8 km/h (3.3 m/s), which is unique for a robot of this type. It can also carry loads of up to 5 kg.

For simplified maintenance work, the robot was designed with a stable and lightweight body structure. The A1 has an external 24 V power input and 5 V-/12 V-/19 V power supply, which enables the use of additional external devices. Other external interfaces include 4 USB, 2 HDMI, 2 Ethernet ports.

It is equipped with a powerful redundant control system: low-level control for CAN communication with the smart actuators and NVIDIA Xavier for calculation or measurement data evaluation. The current runtime of approx. 1.5 hours varies depending on the application.

Additional equipment is available from QUADRUPED Robotics and can be delivered with implemented software packages on request. Due to in-house research and development, the end customer can order a finished and tested product. Another service is the provision of complete documentation on the website www.docs.quadruped.de. In addition, complete simulation environments based on Webots & Gazebo are also made available for download there, which can be used for application testing.

QUADRUPED Robotics is a spin-off of MYBOTSHOP uG, which emerged as an established sales and development partner in the fields of robotics, sensor technology and automation technology. Company founder Daniel Kottlarz draws from the potential of four-legged and autonomous robots the opportunity to relieve humans in particularly dangerous areas of operation and situations and to ward off dangerous situations by means of the autonomous robots.

QUADRUPED A1 – Vierbeiniger Roboter vereint künstliche Intelligenz und ausgereifte Bewegungsabläufe

Veröffentlicht am von
Antworten

Das neu gegründete Unternehmen QUADRUPED Robotics führt als erstes und derzeit einziges deutsches Unternehmen voll modifizierbare mehrbeinige Roboter in den europäischen Markt ein. Dabei stellt diese Form der Roboter eine Neuheit dar: die Vierbeiner kombinieren künstliche Intelligenz mit neuen Bewegungsabläufen und einer individuell anpassbaren Ausstattung.

Der Roboter A1 der Linie QUADRUPED basiert auf dem Robot Operating System (ROS.org) und lässt sich somit auf seine Umgebung und Anforderung anpassen. Doch auch schon die Grundausstattung ermöglicht einen breiten Anwendungsbereich.
Mittels KI-gesteuerter und tiefenerkennender Smart-Kamera lassen sich HD-Aufnahmen in Echtzeit und an ein Endgerät übertragen. Gleichzeitig bietet die integrierte Mehraugen-Kamera die Echtzeit-Verfolgung von Objekten in Sichtweite, Gestenerkennung und auf bestimmte Bewegungsmuster folgend die Zielpersonenverfolgung.
Grundlage zur Erarbeitung einer Umgebungskarte ist das visuelle SLAM. QUADRUPED A1 berechnet Wege, Hindernisse, Strecken und Navigationspunkte. Dies führt zu einer visions-basierten autonomen Hindernisvermeidung. Zusätzlich erkennt der QUADRUPED A1 auch Hindernisformen und es erfolgt eine Anpassung der Körperposition. Sollte es doch zu einem Aufprall oder Sturz kommen, ermöglicht der fortschrittliche dynamische Balancier-Algorithmus das Gleichgewicht schnell wiederherzustellen. Weitere Messdaten sowie dynamischeres Verhalten können durch die Integration zusätzlicher Sensorik, wie die eines 3D-LiDAR oder weiterer Kameramodule, erreicht werden.

Im QUADRUPED A1 ist der einzigartige patentierte sensible Fußkontakt verbaut. Jeder der vier Füße kann einzeln und individuell angesteuert werden. Durch die smarten Aktuatoren sind präzises Auftreten sowie verschiedene Gangart geboten. Das System basiert auf einem von QUADRUPED Robotics entwickelten Low-Level-Control, das zu jedem Zeitpunkt die Position samt Drehmoment und Stromaufnahme auslesen kann. Das Fußende ist wasser- und staubdicht und kann nach Abnutzung leicht ausgetauscht werden.
Der A1 überzeugte durch seine zuletzt gemessene Höchstgeschwindigkeit von 11,8 km/h (3,3 m/s), welche für einen Roboter dieser Art einmalig ist. Zudem kann er Lasten bis zu 5 kg tragen.

Für vereinfachte Wartungsarbeiten wurde bei dem Roboter auf eine stabile und leichte Karosseriestruktur geachtet. Der A1 verfügt über einen externen 24 V Stromeingang und 5 V-/12 V-/19 V-Spannungsversorgung, die den Einsatz zusätzlicher externer Geräte ermöglicht. Weitere externe Schnittstellen sind 4 USB-, 2 HDMI-, 2 Ethernet-Anschlüsse.
Ausgestattet ist er mit einer leistungsstarken redundanten Steuerung: Low-Level-Control zur CAN-Kommunikation mit den smarten Aktuatoren und NVIDIA Xavier für die Berechnung bzw. Messdatenauswertung. Die aktuelle Laufzeit von ca. 1,5 Stunden variiert je nach Anwendung.

Zusatz-Equipment ist bei QUADRUPED Robotics erhältlich und wird auf Wunsch mit implementierten Software-Packages ausgeliefert. Durch die hausinterne Forschung und Entwicklung kann der Endkunde ein fertiges und getestetes Produkt bestellen. Ein weiterer Service ist die Bereitstellung der vollständigen Dokumentation auf der Website www.docs.quadruped.de. Darüber hinaus werden dort auch vollständige Simulationsumgebungen auf Basis von Webots & Gazebo zum Download bereitgestellt, die zu Anwendungstests genutzt werden können.

QUADRUPED Robotics ist eine Ausgründung der MYBOTSHOP uG, die als etablierter Vertriebs- und Entwicklungspartner in den Bereichen Robotik, Sensorik und Automatisierungstechnik entstand. Firmengründer Daniel Kottlarz schöpft aus dem Potenzial der vierbeinigen und autonomen Roboter die Chance, den Menschen in besonders gefährlichen Einsatzbereichen und Situationen zu entlasten und mittels der autonomen Roboter Gefahrensituationen abzuwehren.