All-in-one embedded vision platform with new tools and functions
(PresseBox) (Obersulm) At IDS, image processing with artificial intelligence does not just mean that AI runs directly on cameras and users also have enormous design options through vision apps. Rather, with the IDS NXT ocean embedded vision platform, customers receive all the necessary, coordinated tools and workflows to realise their own AI vision applications without prior knowledge and to run them directly on the IDS NXT industrial cameras. Now follows the next free software update for the AI package. In addition to the topic of user-friendliness, the focus is also on making artificial intelligence clear and comprehensible for the user.
An all-in-one system such as IDS NXT ocean, which has integrated computing power and artificial intelligence thanks to the „deep ocean core“ developed by IDS, is ideally suited for entry into AI Vision. It requires no prior knowledge of deep learning or camera programming. The current software update makes setting up, deploying and controlling the intelligent cameras in the IDS NXT cockpit even easier. For this purpose, among other things, an ROI editor is integrated with which users can freely draw the image areas to be evaluated and configure, save and reuse them as custom grids with many parameters. In addition, the new tools Attention Maps and Confusion Matrix illustrate how the AI works in the cameras and what decisions it makes. This helps to clarify the process and enables the user to evaluate the quality of a trained neural network and to improve it through targeted retraining. Data security also plays an important role in the industrial use of artificial intelligence. As of the current update, communication between IDS NXT cameras and system components can therefore be encrypted via HTTPS.
Just get started with the IDS NXT ocean Creative Kit
Anyone who wants to test the industrial-grade embedded vision platform IDS NXT ocean and evaluate its potential for their own applications should take a look at the IDS NXT ocean Creative Kit. It provides customers with all the components they need to create, train and run a neural network. In addition to an IDS NXT industrial camera with 1.6 MP Sony sensor, lens, cable and tripod adapter, the package includes six months‘ access to the AI training software IDS NXT lighthouse. Currently, IDS is offering the set in a special promotion at particularly favourable conditions. Promotion page: https://en.ids-imaging.com/ids-nxt-ocean-creative-kit.html.
All-in-One Embedded Vision Plattform mit neuen Werkzeugen und Funktionen
(PresseBox) (Obersulm) Bei IDS bedeutet Bildverarbeitung mit künstlicher Intelligenz nicht nur, dass die KI direkt auf Kameras läuft und Anwender zusätzlich enorme Gestaltungsmöglichkeiten durch Vision Apps haben. Kunden erhalten mit der Embedded-Vision-Plattform IDS NXT ocean vielmehr alle erforderlichen, aufeinander abgestimmten Tools und Workflows, um eigene KI-Vision-Anwendungen ohne Vorwissen zu realisieren und direkt auf den IDS NXT Industriekameras auszuführen. Jetzt folgt das nächste kostenlose Softwareupdate für das KI-Paket. Im Fokus steht neben dem Thema Benutzerfreundlichkeit auch der Anspruch, die künstliche Intelligenz für den Anwender anschaulich und nachvollziehbar zu machen.
Ein All-in-One System wie IDS NXT ocean, das durch den von IDS entwickelten „deep ocean core“ über integrierte Rechenleistung und künstliche Intelligenz verfügt, eignet sich bestens für den Einstieg in AI Vision. Es erfordert weder Vorkenntnisse in Deep Learning noch in der Kameraprogrammierung. Das aktuelle Softwareupdate macht die Einrichtung, Inbetriebnahme und Steuerung der intelligenten Kameras im IDS NXT cockpit noch einfacher. Hierzu wird unter anderem ein ROI-Editor integriert, mit dem Anwender die auszuwertenden Bildbereiche frei zeichnen und als beliebige Raster mit vielen Parametern konfigurieren, speichern und wiederverwenden können. Darüber hinaus veranschaulichen die neuen Werkzeuge Attention Maps und Confusion Matrix, wie die KI in den Kameras arbeitet und welche Entscheidungen sie trifft. Das macht sie transparenter und hilft dem Anwender, die Qualität eines trainierten neuronalen Netzes zu bewerten und durch gezieltes Nachtraining zu verbessern. Beim industriellen Einsatz von künstlicher Intelligenz spielt auch Datensicherheit eine wichtige Rolle. Ab dem aktuellen Update lässt sich die Kommunikation zwischen IDS NXT Kameras und Anlagenkomponenten deshalb per HTTPS verschlüsseln.
Einfach loslegen mit dem IDS NXT ocean Creative Kit
Wer die industrietaugliche Embedded-Vision-Plattform IDS NXT ocean testen und das Potenzial für die eigenen Anwendungen evaluieren möchte, sollte einen Blick auf das IDS NXT ocean Creative Kit werfen. Kunden erhalten damit alle Komponenten, die sie für die Erstellung, das Trainieren und das Ausführen eines neuronalen Netzes benötigen. Neben einer IDS NXT Industriekamera mit 1,6 MP Sony Sensor, Objektiv, Kabel und Stativadapter enthält das Paket u.a. einen sechsmonatigen Zugang zur KI-Trainingssoftware IDS NXT lighthouse. Aktuell bietet IDS das Set in einer Sonderaktion zu besonders günstigen Konditionen an. Aktionsseite: https://de.ids-imaging.com/ids-nxt-ocean-creative-kit.html.
Autonomously driving robotic assistance system for the automated placement of coil creels
Due to the industry standard 4.0, digitalisation, automation and networking of systems and facilities are becoming the predominant topics in production and thus also in logistics. Industry 4.0 pursues the increasing optimisation of processes and workflows in favour of productivity and flexibility and thus the saving of time and costs. Robotic systems have become the driving force for automating processes. Through the Internet of Things (IoT), robots are becoming increasingly sensitive, autonomous, mobile and easier to operate. More and more they are becoming an everyday helper in factories and warehouses. Intelligent imaging techniques are playing an increasingly important role in this.
To meet the growing demands in scaling and changing production environments towards fully automated and intelligently networked production, the company ONTEC Automation GmbH from Naila in Bavaria has developed an autonomously driving robotic assistance system. The „Smart Robot Assistant“ uses the synergies of mobility and automation: it consists of a powerful and efficient intralogistics platform, a flexible robot arm and a robust 3D stereo camera system from the Ensenso N series by IDS Imaging Development Systems GmbH.
The solution is versatile and takes over monotonous, weighty set-up and placement tasks, for example. The autonomous transport system is suitable for floor-level lifting of Euro pallets up to container or industrial format as well as mesh pallets in various sizes with a maximum load of up to 1,200 kilograms. For a customer in the textile industry, the AGV (Automated Guided Vehicle) is used for the automated loading of coil creels. For this purpose, it picks up pallets with yarn spools, transports them to the designated creel and loads it for further processing. Using a specially developed gripper system, up to 1000 yarn packages per 8-hour shift are picked up and pushed onto a mandrel of the creel. The sizing scheme and the position of the coils are captured by an Ensenso 3D camera (N45 series) installed on the gripper arm.
Application
Pallets loaded with industrial yarn spools are picked up from the floor of a predefined storage place and transported to the creel location. There, the gripper positions itself vertically above the pallet. An image trigger is sent to the Ensenso 3D camera from the N45 series, triggered by the in-house software ONTEC SPSComm. It networks with the vehicle’s PLC and can thus read out and pass on data. In the application, SPSComm controls the communication between the software parts of the vehicle, gripper and camera. This way, the camera knows when the vehicle and the grabber are in position to take a picture. This takes an image and passes on a point cloud to a software solution from ONTEC based on the standard HALCON software, which reports the coordinates of the coils on the pallet to the robot. The robot can then accurately pick up the coils and process them further. As soon as the gripper has cleared a layer of the yarn spools, the Ensenso camera takes a picture of the packaging material lying between the yarn spools and provides point clouds of this as well. These point clouds are processed similarly to provide the robot with the information with which a needle gripper removes the intermediate layers. „This approach means that the number of layers and finishing patterns of the pallets do not have to be defined in advance and even incomplete pallets can be processed without any problems,“ explains Tim Böckel, software developer at ONTEC. „The gripper does not have to be converted for the use of the needle gripper. For this application, it has a normal gripping component for the coils and a needle gripping component for the intermediate layers.“
For this task, the mobile use for 3D acquisition of moving and static objects on the robot arm, the Ensenso 3D camera is suitable due to its compact design. The Ensenso N 45’s 3D stereo electronics are completely decoupled from the housing, allowing the use of a lightweight plastic composite as the housing material. The low weight facilitates the use on robot arms such as the Smart Robotic Asstistant. The camera can also cope with demanding environmental conditions. „Challenges with this application can be found primarily in the different lighting conditions that are evident in different rooms of the hall and at different times of the day,“ Tim Böckel describes the situation. Even in difficult lighting conditions, the integrated projector projects a high-contrast texture onto the object to be imaged by means of a pattern mask with a random dot pattern, thus supplementing the structures on featureless homogenous surfaces. This means that the integrated camera meets the requirements exactly. „By pre-configuring within NxView, the task was solved well.“ This sample programme with source code demonstrates the main functions of the NxLib library, which can be used to open one or more stereo and colour cameras whose image and depth data are visualised. Parameters such as exposure time, binning, AOI and depth measuring range can – as in this case – be adjusted live for the matching method used.
The matching process empowers the Ensenso 3D camera to recognise a very high number of pixels, including their position change, by means of the auxiliary structures projected onto the surface and to create complete, homogeneous depth information of the scene from this. This in turn ensures the necessary precision with which the Smart Robot Assistant proceeds. Other selection criteria for the camera were, among others, the standard vision interface Gigabit Ethernet and the global shutter 1.3 MP sensor. „The camera only takes one image pair of the entire pallet in favour of a faster throughput time, but it has to provide the coordinates from a relatively large distance with an accuracy in the millimetre range to enable the robot arm to grip precisely,“ explains Matthias Hofmann, IT specialist for application development at ONTEC. „We therefore need the high resolution of the camera to be able to safely record the edges of the coils with the 3D camera.“ The localisation of the edges is important in order to be able to pass on as accurate as possible the position from the centre of the spool to the gripper.
Furthermore, the camera is specially designed for use in harsh environmental conditions. It has a screwable GPIO connector for trigger and flash and is IP65/67 protected against dirt, dust, splash water or cleaning agents.
Software
The Ensenso SDK enables hand-eye calibration of the camera to the robot arm, allowing easy translation or displacement of coordinates using the robot pose. In addition, by using the internal camera settings, a „FileCam“ of the current situation is recorded at each pass, i.e. at each image trigger. This makes it possible to easily adjust any edge cases later on, in this application for example unexpected lighting conditions, obstacles in the image or also an unexpected positioning of the coils in the image. The Ensenso SDK also allows the internal camera LOG files to be stored and archived for possible evaluation.
ONTEC also uses these „FileCams“ to automatically check test cases and thus ensure the correct functioning of all arrangements when making adjustments to the vision software. In addition, various vehicles can be coordinated and logistical bottlenecks minimised on the basis of the control system specially developed by ONTEC. Different assistants can be navigated and act simultaneously in a very confined space. By using the industrial interface tool ONTEC SPSComm, even standard industrial robots can be safely integrated into the overall application and data can be exchanged between the different systems.
Outlook
Further development of the system is planned, among other things, in terms of navigation of the autonomous vehicle. „With regard to vehicle navigation for our AGV, the use of IDS cameras is very interesting. We are currently evaluating the use of the new Ensenso S series to enable the vehicle to react even more flexibly to obstacles, for example, classify them and possibly even drive around them,“ says Tim Böckel, software developer at ONTEC, outlining the next development step.
ONTEC’s own interface configuration already enables the system to be integrated into a wide variety of Industry 4.0 applications, while the modular structure of the autonomously moving robot solution leaves room for adaptation to a wide variety of tasks. In this way, it not only serves to increase efficiency and flexibility in production and logistics, but in many places also literally contributes to relieving the workload of employees.
Ingenieur*innen sind zunehmend bestrebt, KI erfolgreich in Projekte und Anwendungen zu integrieren, während sie versuchen, ihre eigene KI-Lernkurve zu meistern. Allerdings werden viele KI-Projekte nach wenig vielversprechenden Ergebnissen wieder verworfen. Woran liegt das? Johanna Pingel, Product Marketing Manager bei MathWorks, erläutert, warum es für Ingenieur*innen wichtig ist, sich auf den gesamten KI-Workflow zu konzentrieren und nicht nur auf die Modellentwicklung:
Ingenieur*innen, die Machine Learning und Deep Learning einsetzen, erwarten oft, dass sie einen großen Teil ihrer Zeit mit der Entwicklung und Feinabstimmung von KI-Modellen verbringen. Die Modellierung ist zwar ein wichtiger Schritt im Workflow, aber das Modell ist nicht alleiniges Ziel. Das Schlüsselelement für den Erfolg bei der praktischen KI-Implementierung ist das frühzeitige Aufdecken von Problemen. Außerdem ist es wichtig zu wissen, auf welche Aspekte des Workflows man Zeit und Ressourcen konzentrieren sollte, um die besten Ergebnisse zu erzielen. Das sind nicht immer die offensichtlichsten Schritte.
Der KI-gesteuerte Workflow
Es lassen sich vier Schritte in einem KI-gesteuerten Workflow differenzieren, wobei jeder Schritt seine eigene Rolle bei der erfolgreichen Implementierung von KI in einem Projekt spielt.
Schritt 1: Datenaufbereitung
Die Datenaufbereitung ist wohl der wichtigste Schritt im KI-Workflow: Ohne robuste und genaue Daten zum Trainieren eines Modells sind Projekte rasch zum Scheitern verurteilt. Wenn Ingenieur*innen das Modell mit „schlechten“ Daten füttern, werden sie keine aufschlussreichen Ergebnisse erhalten – und wahrscheinlich viele Stunden damit verbringen, herauszufinden, warum das Modell nicht funktioniert.
Um ein Modell zu trainieren, sollten Ingenieur*innen mit sauberen, gelabelten Daten beginnen, und zwar mit so vielen wie möglich. Dies kann einer der zeitaufwendigsten Schritte des Workflows sein. Wenn Deep Learning-Modelle nicht wie erwartet funktionieren, konzentrieren sich viele darauf, wie man das Modell verbessern kann – durch das Optimieren von Parametern, die Feinabstimmung des Modells und mehrere Trainingsiterationen. Doch noch viel wichtiger ist die Aufbereitung und das korrekte Labeln der Eingabedaten. Das darf nicht vernachlässigt werden, um sicherzustellen, dass Daten korrekt vom Modell verstanden werden können.
Schritt 2: KI-Modellierung
Sobald die Daten sauber und richtig gelabelt sind, kann zur Modellierungsphase des Workflows übergegangen werden. Hierbei werden die Daten als Input verwendet und das Modell lernt aus diesen Daten. Das Ziel einer erfolgreichen Modellierungsphase ist die Erstellung eines robusten, genauen Modells, das intelligente Entscheidungen auf Basis der Daten treffen kann. Dies ist auch der Punkt, an dem Deep Learning, Machine Learning oder eine Kombination davon in den Arbeitsablauf einfließt. Hier entscheiden die Ingenieur*innen, welche Methoden das präziseste und robusteste Ergebnis hervorbringt.
Die KI-Modellierung ist ein iterativer Schritt innerhalb des gesamten Workflows, und Ingenieur*innen müssen die Änderungen, die sie während dieses Schrittes am Modell vornehmen, nachverfolgen können. Die Nachverfolgung von Änderungen und die Aufzeichnung von Trainingsiterationen mit Tools wie dem Experiment Manager von MathWorks sind entscheidend, da sie helfen die Parameter zu erklären, die zum genauesten Modell führen und reproduzierbare Ergebnisse liefern.
Schritt 3: Simulation und Tests
Ingenieur*innen müssen beachten, dass KI-Elemente meistens nur ein kleiner Teil eines größeren Systems sind. Sie müssen in allen Szenarien im Zusammenspiel mit anderen Teilen des Endprodukts korrekt funktionieren, einschließlich anderer Sensoren und Algorithmen wie Steuerung, Signalverarbeitung und Sensorfusion. Ein Beispiel ist hier ein Szenario für automatisiertes Fahren: Dabei handelt es sich nicht nur um ein System zur Erkennung von Objekten (Fußgänger*innen, Autos, Stoppschilder), sondern dieses System muss mit anderen Systemen zur Lokalisierung, Wegplanung, Steuerung und weiteren integriert werden. Simulationen und Genauigkeitstests sind der Schlüssel, um sicherzustellen, dass das KI-Modell richtig funktioniert und alles gut mit anderen Systemen harmoniert, bevor ein Modell in der realen Welt eingesetzt wird.
Um diesen Grad an Genauigkeit und Robustheit vor dem Einsatz zu erreichen, müssen Ingenieur*innen validieren, dass das Modell in jeder Situation so reagiert, wie es soll. Sie sollten sich auch mit den Fragen befassen, wie exakt das Modell insgesamt ist und ob alle Randfälle abgedeckt sind. Durch den Einsatz von Werkzeugen wie Simulink können Ingenieur*innen überprüfen, ob das Modell für alle erwarteten Anwendungsfälle wie gewünscht funktioniert, und so kosten- und zeitintensive Überarbeitungen vermeiden.
Schritt 4: Einsatz
Ist das Modell reif für die Bereitstellung, folgt als nächster Schritt der Einsatz auf der Zielhardware – mit anderen Worten, die Bereitstellung des Modells in der endgültigen Sprache, in der es implementiert werden soll. Das erfordert in der Regel, dass die Entwicklungsingenieur*innen ein implementierungsbereites Modell nutzen, um es in die vorgesehene Hardwareumgebung einzupassen.
Die vorgesehene Hardwareumgebung kann vom Desktop über die Cloud bis hin zu FPGAs reichen. Mithilfe von flexiblen Werkzeugen wie MATLAB kann der endgültige Code für alle Szenarien generiert werden. Das bietet Ingenieur*innen den Spielraum, ihr Modell in einer Vielzahl von Umgebungen einzusetzen, ohne den ursprünglichen Code neu schreiben zu müssen. Das Deployment eines Modells direkt auf einer GPU kann hier als Beispiel dienen: Die automatische Codegenerierung eliminiert Codierungsfehler, die durch eine manuelle Übersetzung entstehen könnten, und liefert hochoptimierten CUDA-Code, der effizient auf der GPU läuft.
Gemeinsam stärker
Ingenieur*innen müssen keine Datenwissenschaftler*innen oder gar KI-Expert*innen werden, um mit KI erfolgreich zu sein. Mit Werkzeugen für die Datenaufbereitung, Anwendungen zur Integration von KI in ihre Arbeitsabläufe und mit verfügbaren Expert*innen, die Fragen zur KI-Integration beantworten, können sie KI-Modelle auf Erfolgskurs bringen. In jedem dieser Schritte im Workflow haben Ingenieur*innen die Möglichkeit, flexibel ihr eigenes Domänenwissen einzubringen. Dies ist eine wichtige Basis, auf der sie mit den richtigen Ressourcen aufbauen und die sie durch KI ergänzen können.
Über MathWorks
MathWorks ist der führende Entwickler von Software für mathematische Berechnungen. MATLAB, die Programmiersprache für Ingenieurwesen und Wissenschaft, ist eine Programmierumgebung für die Algorithmen-Entwicklung, Analyse und Visualisierung von Daten sowie für numerische Berechnungen. Simulink ist eine Blockdiagramm-basierte Entwicklungsumgebung für die Simulation und das Model-Based Design von technischen Mehrdomänen-Systemen und Embedded Systemen. Ingenieure und Wissenschaftler weltweit setzen diese Produktfamilien ein, um die Forschung sowie Innovationen und Entwicklungen in der Automobilindustrie, der Luft- und Raumfahrt, der Elektronik, dem Finanzwesen, der Biotechnologie und weiteren Industriezweigen zu beschleunigen. MATLAB und Simulink sind zudem an Universitäten und Forschungsinstituten weltweit wichtige Lehr- und Forschungswerkzeuge. MathWorks wurde 1984 gegründet und beschäftigt mehr als 5000 Mitarbeiter in 16 Ländern. Der Hauptsitz des Unternehmens ist Natick, Massachusetts, in den USA. Lokale Niederlassungen in der D-A-CH-Region befinden sich in Aachen, München, Paderborn, Stuttgart und Bern. Weitere Informationen finden Sie unter mathworks.com.
Auch wenn ich schon viele Roboter gebaut und getestet habe, ist dies heute eine Premiere! In den letzten Tagen habe ich zum ersten Mal einen Roboter von fischertechnik gebaut. Die Pressankündigung des fischertechnik Robotics Smarttech haben wir bereits in den letzten Tagen vorgestellt. [LINK]
Nun durfte ich ihn selber testen. Das Bausystem war mir zwar neu, hat mir aber auf Anhieb Spaß gemacht und ist wirklich einfach zu verwenden. Hat man sich einmal an die Bauanleitung und deren Stil gewöhnt, ist diese einfach verständlich. Während des Zusammenbaus des vierrädrigen Roboters mit den Omniwheels und dem Gestensensor, der mich ungefähr vier Stunden beschäftigt hat, habe ich dann auch gelernt auf welche Feinheiten ich in der Anleitung achten muss. Mir, als fischertechnik Neuling, sind zwei, drei Fehler passiert, die mir aber beim nächsten fischertechnik Modell bestimmt nicht mehr passieren würden. Überrascht war ich, dass man bei diesem Set die Kabel noch selber ablängen, abisolieren und die Steckverbinder anbringen muss. Das war ich aus anderem Roboter Kästen bisher nicht gewohnt; dies bietet aber die tolle Möglichkeit Kabel nach eigenen Wünschen und Längen zu erstellen. Diese Möglichkeit besteht bei vielen anderen Herstellern nicht und gerade wenn man mal einen etwas größeren Roboter baut, ist es von Vorteil wenn man lange Kabel selber fertigen kann.
Die Bauteile halten gut zusammen und es lassen sich sehr stabile Roboter konstruieren. Kinder brauchen hier vielleicht an der ein oder anderen Stelle etwas Unterstützung wenn die Teile, gerade wenn sie noch neu sind, noch etwas schwergängig zusammen zu stecken sind. Der von mir gebaute Roboter war dafür im Anschluss sehr stabil und überlebt selbst kleinere Stürze ohne dass Teile abfallen.
Die coolen Omniwheels ermöglichen es dem Roboter jederzeit in jede Richtung zu fahren. Solche Räder findet man in Robotersets leider viel zu selten! Daher fiel die erste Wahl auch direkt auf das Basismodell mit den neuen Omniwheels. Anschließend habe ich dies mit dem Spursensor und dem Gestensensor erweitert. Neben diesen beiden Modellvarianten sind Anleitungen für weitere sieben Roboter enthalten.
Der Roboter lässt sich entweder mit einem Netzteil oder mit einem Akku-Set betreiben, beides muss leider extra erworben werden.
Die aktuellste Version der für die Programmierung benötigten Software ROBOPro fand ich auf der Homepage von fischertechnik. Nachdem ich den Roboter über die Konfiguration auf dessen Touchscreen mit meinem WLAN verbunden habe (Okay: USB oder Bluetooth wäre auch gegangen, aber der Geek in mir musste direkt WLAN ausprobieren), konnte ich diesen mit der ROBOPro Software verbinden und programmieren. Das für die Cloud Funktionen benötigte Update wurde beim ersten Verbinden mit der ROBOPro Software mir sofort angeboten und ich konnte es problemlos installieren. Mit diesem Update lässt sich der Roboter als IoT Device in die fischertechnik Cloud einbinden und als smartes Gerät mit dem Internet kommunizieren. So kann man zum Beispiel eine Alarmanlage bauen, die einen über das Internet beim Auslösen alarmiert.
Neben der Möglichkeit in der ROBOPro Software grafisch zu programmieren, kann mit einer zusätzlichen frei verfügbaren Software auch in Scratch grafisch programmiert werden. Wer lieber textbasiert programmieren möchte kann dies auch in C. Da das Betriebssystem des Roboters auf Linux basiert, gibt es hier bestimmt noch jede Menge weitere, mir bisher unbekannte, Möglichkeiten den Roboter zu „hacken“ und noch mehr Funktionen hinzuzufügen. Das Einloggen auf dem Roboter per SSH ist auf jeden Fall möglich und über den SD-Karten Slot lassen sich alternative Betriebssysteme installieren und der Speicher erweitern.
Mein erster fischertechnik Roboter, genauer der Robotics Smarttech Roboter, hat mir bisher Freude bereitet und ich hatte Spaß daran mal ein mir bisher unbekannte Bausystem auszuprobieren. Mit den „selbstgebauten“ Kabeln und den universellen Ei- und Ausgängen am Controller, sowie der Cloud Anbindung, finden sich sicherlich auch tolle Einsatzmöglichkeiten abseits vom Einsatz als Spielzeugroboter.
FREE E-LEARNING ARRIVES TO YOUR HOME OR OFFICE FROM 8 TO 12 NOVEMBER BY MAKER FAIRE ROME
Over 50 webinars, talks, online and free workshops about all the innovation topics offered by our makers and partners: check out the complete list of webinars and choose the one that suits you the most!
Participating is simple: you just need to register for the event of your choosing and then you will receive an alert just before it starts. All webinars are held on Zoom: make sure you got the app on your device.
MAKER LEARN FESTIVAL: E-LEARNING FOR EVERYBODY
Maker Learn Festival is truly for everyone.
A few examples? If you are a professional, an entrepreneur, a startupper, take look at the webinars dedicated to the world of entrepreneurship with specific focus on digital and robotics, artificial intelligence, digital manufacturing and 3D printing, transition 4.0, PNRR and incentives for SMEs . Eg check the selection for the fabrication topic here.
And that’s not all, an entire section is dedicated to innovation born within the Italian universities and there is no shortage of webinars and specific workshops for students and young people!
„Academic“ events: select the „Universities“ tag and discover all the workshops and talks organized by some of the most important Italian universities, including the University of Pisa, La Sapienza University of Rome, the University of Studies Roma Tre, the Polytechnic of Bari.
Appointments for students and teenagers: dedicated contents from robotics to experiments to be done in the classroom or at home along with the parents.
And if you want to, you can specifically select the topics of your interest, browse by topics such as art, robotics, artificial intelligence … the offer is very wide!
Come and discover all the innovation you need on the Maker Learn Festival, from 8 to 12 November!
WHAT IS MAKER LEARN FESTIVAL
Maker Learn is the project of Maker Faire Rome and PID Punto Impresa Digitale, for continuous training, a web gateway in which you can find free training opportunities throughout the year covering the most diverse topics. Maker Learn Festival is the natural continuation of Maker Faire Rome, the event that was held from 8 to 10 October. With Maker Learn Festival we celebrate the continuous training by concentrating over 50 different courses in one week. By participating in the Maker Learn Festival, you can experience firsthand the benefits that “life long learning” can offer you.
Seit rund vier Jahren arbeiten das Fraunhofer-Institut für Intelligente Analyse- und Informations-systeme IAIS und die Dr. Hans Riegel-Stiftung im Rahmen ihrer Projekte »Open Roberta®« und »TouchTomorrow« zusammen, um junge Menschen für Coding & Co. zu begeistern. Das jüngste Ergebnis der Zusammenarbeit ist die erste 3D-Simulation des humanoiden Roboters NAO für die Open-Source-Plattform »Open Roberta Lab«. NAO ist mit Anschaffungskosten von mehreren tausend Euro im Vergleich zu anderen Mikrocontrollern und Hardware-Systemen wie Calliope mini oder LEGO Mindstorms sehr teuer und deshalb in Privathaushalten oder auch in Schulen kaum vertreten. Ab sofort haben Open-Roberta-Fans die Möglichkeit, die anschaulichen Programmiermöglichkeiten des NAO in einer 3D-Simulation auszuprobieren und zu erlernen. Schon jetzt ist das Open Roberta Lab in mehr als 20 Sprachen verfügbar und wird in über 100 Ländern von ca. 500 000 Personen pro Monat genutzt – mit dem 3D-Roboter steigt die Attraktivität der Programmierplattform um ein weiteres Highlight.
Das »Open Roberta Lab« ist eine frei verfügbare grafische Programmierplattform, die das Programmieren lernen leicht macht. Auf der Open-Source-Plattform der Initiative »Roberta® – Lernen mit Robotern« des Fraunhofer IAIS erstellen selbst Neulinge im Handumdrehen erste Programme per »drag and drop«. Die Besonderheit: Im Open Roberta Lab erwachen reale Roboter und Mikrocontroller zum Leben. »Hands-on« erlernen Nachwuchs-Programmiererinnen und -Programmierer die Grundlagen des Codens und entdecken spielerisch die unzähligen Möglichkeiten, die die Welt der Technik und Naturwissenschaften für sie bereithält.
Unter den aktuell 14 Roboter- und Hardware-Systemen, die im Open Roberta Lab programmiert werden können, ist der humanoide Roboter NAO mit seinen 25 Bewegungsgraden, umfangreicher Sensorik und einem Kaufpreis von mehr als 5000 Euro die komplexeste und teuerste Variante. Gleichzeitig ist es natürlich besonders spannend, einen humanoiden Roboter programmieren zu können. Aus diesem Grund haben das Fraunhofer IAIS und Dr. Hans Riegel-Stiftung nun eine erste 3D-Simulation für die Plattform integriert, so dass sich die Nutzer*innen auch ohne teure Hardware die Resultate ihrer Programmierungen in einer detaillierten Simulation anschauen können. Dies soll u. a. zusätzliche Erfolgserlebnisse ermöglichen und damit die Motivation steigern.
Weitere Kooperationen von Fraunhofer IAIS und Dr. Hans Riegel-Stiftung
Begonnen hat die Zusammenarbeit im Rahmen der Entwicklung des »TouchTomorrow-Trucks« der Dr. Hans Riegel-Stiftung, der bundesweit an Schulen fährt, um Schülerinnen und Schüler durch das Erleben und Ausprobieren von Zukunftstechnologien für Bildungs- und Berufswege im MINT-Bereich (Mathematik, Informatik, Naturwissenschaft, Technik) zu begeistern. Eine von acht Themenstationen im Truck befasst sich mit humanoiden Robotern. Schülerinnen und Schüler können dort dank mehrerer vom Fraunhofer IAIS entwickelter Tutorials einen echten NAO-Roboter programmieren. Neben dem Truck sind in den vergangenen Jahren weitere Angebote entstanden: u. a. »TouchTomorrow-Teaching« mit Unterrichtsmaterial und Fortbildungen für Lehrkräfte, »TouchTomorrow-Stream« als Livestream-Dialogformat für Distanz-Lehranlässe wie Covid-19 und das »TouchTomorrow-Lab« im Deutschen Museum Bonn.
Das Deutsche Museum Bonn ist einer von fünf »Open Roberta Coding Hubs« in NRW. Dies sind außerschulische Lernorte, die mit Hardware wie Robotern und Laptops ausgestattet und deren Personal vom Roberta-Team des Fraunhofer IAIS vor Ort zu Roberta-Teachern ausgebildet werden. Das TouchTomorrow-Lab im Deutschen Museum Bonn bietet eine ideale Kulisse für die diversen Workshops in diesem Kontext.
Beate Jost, Technische Leiterin der Roberta-Initiative und Wissenschaftlerin am Fraunhofer IAIS: »Wir freuen uns, dass unsere langjährige Kooperation mit der Dr. Hans Riegel-Stiftung nun in eine neue Phase geht. Mit der neuen NAO-Simulation haben Programmier-Fans und vor allem Schulen ab sofort die Gelegenheit, spannende Experimente mit humanoiden Robotern auszuprobieren, ohne dafür gleich tief in die Geldbörse greifen zu müssen.«
UDOO KEY, the world’s most flexible AI platform, is a brand-new AI-first solution based on Raspberry Pi RP2040 and ESP32. It enables machine learning applications in the most popular programming languages and libraries, including TinyML, TensorFlow Lite, MicroPython, C, C++ etc. The board, designed for Edge AI projects, marks the fifth crowdfunding campaign by UDOO, which already raised more than 2 million dollars in previous Kickstarter campaigns.
UDOO KEY combines Raspberry Pi RP2040 and a fully programmable ESP32 into a single powerful piece of hardware. The board comes in two versions: UDOO KEY and UDOO KEY PRO. Both feature Wi-Fi, Bluetooth and BLE; UDOO KEY PRO also features a 9-axis IMU and a digital microphone. The board is fully compatible, both hardware and software-wise, with Raspberry Pi Pico and ESP32.
UDOO KEY also grants access to Clea, the upcoming AI as a service platform by SECO Mind, SECO’s daughter company. Clea is an extensible AI & IoT platform for professional developers, startups, R&D departments and hobbyists. . It allows users to quickly build, monitor and deploy Artificial Intelligence models and apps over a fleet of remote-controlled devices. It comes with a set of pre-built AI models and apps called Clea Apps, all developed by SECO. Last but not least, it’s natively compatible with UDOO KEY, Raspberry Pi as well as Arm and x86 processors.
Maurizio Caporali, Co-CEO of SECO Mind, said, „Today, AI is very misunderstood. Many AI use cases don’t require a powerful processing unit, and that’s where UDOO KEY comes in. For the first time ever in the world of Edge AI, the user has the option to build an AI project on their terms, using either Raspberry Pi RP2040, ESP32, or both. Several companies we are in touch with find it difficult to take advantage of the AI revolution. UDOO KEY and Clea make this as easy as it gets.”
Shipping will start in January 2022. The Early Bird UDOO KEY is available at $4, while the Early Bird UDOO KEY PRO is available at $9. Both are limited to 1,000 units.
UDOO has also made available two special kits, built in collaboration with two equally special companies: Arducam and Seeed Studio.
The first kit, in collaboration with Arducam, is named „Early Bird UDOO KEY PRO Cam Kit + Clea “ and includes 1x UDOO KEY PRO, a 2MB SPI Camera and access to Clea.
The second kit, in collaboration with SeeedStudio, is named “Early Bird UDOO KEY PRO Grove Kit + Clea” and includes 1x UDOO KEY PRO, access to Clea and 14 handpicked Grove Modules, including 5 sensors/ 5 actuators/ 2LED/ 1 LCD display/ 1 Grove shield.
More details on UDOO KEY
The Raspberry Pi Pico-compatible part of UDOO KEY is built upon a Raspberry PI RP2040 dual Arm Cortex-M0, featuring a QSPI 8MB flash memory, 133 MHZ clock, and 264KB of on-chip SRAM. The ESP32 is based on a dual-core Xtensa 32-bit LX6, with 16 MB flash memory, 8MB PSRAM, Wi-Fi, Bluetooth and Bluetooth Low Energy. The two microcontrollers can talk to each other via serial port and SWD.
The user can program the two microcontrollers in an easy way via a USB-C connector and decide whether to talk with RP2040 or ESP32 via jumper. The UDOO KEY provides many more interfaces: three fully programmable LEDs, and the same pinout of Raspberry Pi Pico, making it 100% compatible with it, both hardware and software-wise. Last but not least, the UEXT connector is accessible from the ESP32, which exposes the I2C, UART and SPI interfaces.
The UDOO KEY also mounts two powerful sensors: a 9-axis IMU and a digital microphone, plus a standard UEXT connector to easily add sensors and other interfaces. Thanks to the on-board ESP32 microcontroller, the UDOO KEY features full Wi-Fi 802.11b/g/n connectivity, Bluetooth and BLE v4.2.
Mit dem ROBOTICS TXT 4.0 Base Set von fischertechnik lassen sich komplexe Technologien aus dem Alltag im Unterricht spielerisch erlernen. Vier Ergänzungssets ermöglichen darüber hinaus das Eintauchen in die Welt des autonomen Fahrens, in Roboterprogrammierung und in Internet of Things. Mit dem Set „Competition“ lassen sich zudem spannende Aufgaben bei Robotics-Wettbewerben oder -Projekten umsetzen.
Das fischertechnik ROBOTICS TXT 4.0 Base Set ist der perfekte Start, um zu programmieren wie die Profis. Der umfangreiche Baukasten enthält neben der Kamera mit Bildverarbeitung einen Ultraschallsensor, zwei Encodermotoren, einen Spursensor, einen Fototransistor sowie zwei Taster und drei LEDs. Die Modelle können mit der Programmiersoftware ROBO Pro Coding und dem ROBOTICS TXT 4.0 Controller programmiert und gesteuert werden. Einsteiger können auf fertige Beispielprogramme zurückgreifen und in der Blockly-Programmierumgebung ROBO Pro Coding grafisch programmieren, Fortgeschrittene und Profis können darüber hinaus direkt in Python loslegen. Mit der zusätzlichen App fischertechnik Voice Control (Android/ iOS) kann der TXT 4.0 Controller auch über Spracherkennung gesteuert werden. Enthalten sind zwölf spannende Modelle, die von der Fußgängerampel über eine Schranke, einen Barcodescanner bis hin zu mobilen Fahrrobotern mit Encodermotoren, Kamera, Spur- und Abstandssensor reichen. Das umfangreiche Lehrmaterial beinhaltet neben Einführungs- und Basisinformationen 25 Experimente mit Lösungen.
Das fischertechnik ROBOTICS TXT 4.0 Base Set stellt die Basis für den Einsatz im Regelunterricht dar: Controller, Software, Stromversorgung, Aktoren und Sensoren und viele Grundbausteine sind hier enthalten. Das Set wird in einer stabilen Box geliefert, die sich für Einsatz im Regelunterricht sowie auch für Projektarbeiten bestens eignet. Die separat erhältlichen vier Add On Sets erweitern das TXT 4.0 Base Set um ihren jeweiligen Schwerpunkt und können übersichtlich in der unteren, dafür vorgesehenen Wanne integriert werden.
Die Add On-Erweiterungssets umfassen spezifische Hightech-Themen wie autonomes Fahren, Omniwheels und IoT (Internet of Things) sowie Robotics-Wettbewerbe. Damit können attraktive Modelle wie ein autonom fahrendes Auto, ein Fußballroboter oder eine Sensorstation mit beweglicher Kamera zur Messung von Temperatur, Luftfeuchtigkeit, Luftdruck, Luftqualität und Helligkeit konstruiert werden.
Mit dem ROBOTICS Add On Autonomous Driving lässt sich das Auto der Zukunft selbst bauen und programmieren. Es bietet die Möglichkeit, zusammen mit dem ROBOTICS TXT 4.0 Base Set viele spannende Techniken zu entdecken: Von der Lichtautomatik über einen Spurhalteassistenten, vom Tempomat bis zur Einparkautomatik – das Modell garantiert begeisterte Augen im Unterricht. Der Baukasten enthält neben einem Differenzialgetriebe zwei zusätzliche Räder, LEDs sowie einen Servo-Motor für die Lenkung. Das Add On Autonomous Driving wird durch das Lehrmaterial, das Aufgaben und Experimente mit zugehörigen Lösungen enthält, abgerundet.
Das Add On Omniwheels ermöglicht zusammen mit dem ROBOTICS TXT 4.0 Base Set das Konstruieren verschiedener Modelle mit Allseitenantrieb: Fahrroboter mit verschiedenen Aufgabenstellungen, zum Beispiel ein Fußballroboter, ein Ballwurfroboter, der Zielscheiben erkennt und präzise trifft und ein Malroboter mit Stift, der abgesenkt und angehoben werden kann. Das Highlight des Baukastens sind die Omniwheels, die von vier Encodermotoren angetrieben werden und so eine Bewegung in verschiedene Richtungen ermöglichen. Die im TXT 4.0 Base Set enthaltene Kamera ermöglicht Bildverarbeitung, durch die beispielsweise der Fußballroboter einen Ball erkennen, ihm folgen und Tore schießen kann.
Einen professionellen Einstieg in die Messwerterfassung bietet das Ergänzungsset ROBOTICS Add On IoT. Zusammen mit den Robotics TXT 4.0 Base Set ermöglicht die Sensorstation die Messung von Temperatur, Luftfeuchtigkeit, Luftdruck, Luftqualität und Helligkeit. Die Sensorstation kann mit der Programmiersoftware ROBO Pro Coding und dem ROBOTICS TXT 4.0 Controller programmiert und gesteuert werden und ist ideal, um Themen wie Messwerterfassung und -übertragung sowie das Steuern und Regeln von Aktoren und Sensoren zu vermitteln. Die Messwerterfassung erfolgt über die Verbindung des TXT 4.0 Controllers mit der fischertechnik-Cloud, in der die Sensordaten gespeichert, gesammelt und grafisch dargestellt werden. Über die Bedienoberfläche, dem sogenannten Dashboard, werden die verschiedenen Sensordaten permanent (in Echtzeit) erfasst und die in zwei Achsen schwenkbare Kamera ferngesteuert. Das Lehrmaterial des Add On IoT enthält sechs Experimente mit dazugehörigen Lösungen.
Das ROBOTICS Add On Competition wurde für Schulen, Universitäten und alle Bildungseinrichtungen entwickelt, die ihre Modelle für Robotics-Wettbewerbe für ihre Schüler und Studenten weiterentwickeln oder verbessern möchten. Mit diesem Set lassen sich Modelle tunen und um neue Features erweitern, was diesen Baukasten zur perfekten Ergänzung für Wettbewerbe auf der ganzen Welt macht. Das Set enthält den neuen RGB-Gestensensor, einen Kombisensor (Gyroskop, Beschleunigung und Kompass), einen Ultraschallsensor, zwei stärkere Encodermotoren sowie Kettenglieder und Rastraupenbeläge für das Fahrgestell eines Raupenroboters – ideal für den Bau wettbewerbsfähiger Fahrroboter.
LEGO Education ’s SPIKETM Prime is available on the market for more than one year by now. In our big test series, we presented in to you in detail. The Inventor 51515 which is the SPIKETM ’s home version, can also be bought by now. The software of both robots has reached a decent level. Earlier this year, we published our own e-book for the SPIKETM Prime Software that can be a helpful resource for everybody who still has questions about programming this robot. For people who like paperbacks more than digital e-books, we also sell it as a print-on-demand paperback on amazon.
At brickobotik, we nevertheless continue to work with the SPIKETM Prime. On the one hand, we use it in our workshops and teacher-trainings. On the other hand, we are also interested in the electro-technics of the SPIKETM Prime. Therefore, we give you a little insight in our „briokobotik craft corner“ and present a little project on which we currently work.
An adapter board for the ultrasonic sensor
Many of you probably noticed the two Torx screws on the back of the ultrasonic sensor in the SPIKETM Prime and the Mindstorms Inventor set which you can ‚t find on the other sensors. If you unscrew these two screws, you can remove the white ultrasonic sensor device so that only the black shell remains in your hand. Here, the cable of the LEGO Powered Up connector ends up in a female header. This 8-pin female header has a pitch of 1.27 mm which cannot be accessed easily with conventional Arduino cables. That is why we decided to develop an adapter that breaks out the 1.27 mm pitch to 2.54 mm which is the conventional dimension of the Arduino, perfboards, breadboards etc.
Technical details about the breakout board
There are six signals within the Power Functions 2.0 connection:
1x 3.3 V power supply 1x GND
2x digital in-/output (GPIO), which can also be used for UART (115200 Baud, 8N1) Please note: The GPIOs do not supply enough current to operate the LEDs directly! A transistor circuit is necessary to supply an LED from the 3.3 V rail.
2x PWM for the motors
Please note: The voltage of these signals is supplied directly by the SPIKE ’s battery! Aocording to our measurements it is between 8.4 V and 6.3 V.
Each GPIO signal is provided with a resistor in series that provides a minimal protection against wrong GPIO configurations. They can easily be bypassed with a solder bridge.
On the left and right side, the same signals are spread out. On one side, you find the two GPIOs together with the power rails and on the other side, you find the PWM signals with the power rails. The signal lines to the left and right do not only fan out to contacts of
2.54 mm pitch but also to contacts of 2.00 mm pitch for the Grove connector system.
The respective 3.3 V power supply lines are by default open solder bridges. In this way, two independent power supplies will not compete destructively if for example a Calliope mini or other microcontroller is used. The open solder bridges can be closed with a bit of solder if required.
New possibilities with the breakout board
With our breakout board, connecting and using other sensors and motors with the SPIKETM Prime becomes much easier. It also opens the possibility of connecting the SPIKETM to a microcontroller like the Calliope mini. But you should note one important constraint: projeots like these are primarily suitable for advanced users. The wiring as well as the programming needs experience with the electronics and the respective sensor protocols.
Technical details about the control
The Powered Up signals are directly controllable via the SPIKETM Prime app but only using Python projects and on one’s own account. There is no „UltrasonicBreakout“ Python module or something similar by LEGOO . Nevertheless, descriptions and instructions for the respective MicroPython classes and methods can be found in the internet. People with experience with other MicroPython devices, especially with operating the MioroPython REPL, can quickly familiarize with the necessary details.
Order your own adapter board!
At briokobotik, we are going to continue to work with the adapter board and test its conneotion to different sensors. But we would also like to give the possibility of experimenting with connections to the SPIKETM Prime to all other home constructors and electro-technios enthusiasts who like to try it themselves. So, if you are interested in this adapter board and would like to purchase it, just send us an email to [email protected]. We will collect all requests and if there are enough people interested, we will inform you via email about the possibility of preordering the adapter board.
You don ‚t want to tinker but you are interested in a certain sensor that could be conneoted to the SPIKETM Prime? Visit our website at www.briokobotik.de and leave a oomment or a message with your requests for future projects and we will try to take them into account.
