Künstliche Intelligenz (KI)

Automatisierung der Vorsortierung

Über die in SmartRecycling-UP entwickelte KI-basierten Sensorik und Controller soll der Kran in die Lage versetzt werden, selbstständig und ohne menschliche Kontrolle alle notwendigen Prozessschritte durchzuführen.

Diese sind
• Umschichten und Mischen des Müllkonglomerats im Tiefbunker,
• Aufnehmen des Müllkonglomerats und Befüllung des Zerkleinerers,
• Entfernen von Störstoffen (z.B. Matratzen, Schaumstoff, sperrige Verbundstoffe …)
• Aussortieren von Wertstoffen (z.B. Holz, sortiert nach Belastung A1 – A4; Kunststoffe, sortiert nach Kunststoffart; Metalle …)

Um diese Prozesse automatisch durchführen zu können, sollen eine Reihe KI-basierter Softwaremodule entwickelt werden, u.a. für die Sensorik zur Klassifikation von Objekten und Materialien im Müllgemenge, für die Steuerung des Krans und des Greifers, und für die Koordination und Gesamtsteuerung der Einzelprozesse (siehe Abbildung 2):

Damit sich der Kran selbstständig bewegen und vom SmartObjectTracker bestimmte Zielposition anfahren kann, muss die Kontrollsoftware den Zusammenhang zwischen Kontrollbefehlen und der Bewegung des Krans kennen. Dies wird in klassischen Verfahren über eine sogenannte „inverse Kinematik“ berechnet, die auf der genauen Kenntnis der Positionen und Posen der einzelnen Krangelenke, Hydraulikzylinder etc. basiert. Um diese zu erfassen ist es notwendig, den Kran mit entsprechender Sensorik auszustatten, was erhebliche zeitliche und finanzielle Aufwände bedeutet.

Die KI bietet hier eine innovative Möglichkeit zur Steuerung der Maschine mit wesentlich geringerem Aufwand indem KI-basierte Lernverfahren (z.B. Methoden des Reinforcement Learning (RL)) benutzt werden, um die Bewegungsabläufe des Baggers in Relation zu den über die reguläre Steuerschnittstelle gegebenen Kontrollbefehlen zu erlernen. Als Trainingsdaten fungiert hier das Tracking der Schaufel und Gelenkpositionen über externe Sensorik. Mittels an der Decke der Halle und/oder den Seitenwänden angebrachte Sensoren (Kameras) werden (ggf. über spezielle, an der Schaufel und den Gelenken des Krans angebrachte Marker) die Bewegungen des Krans getrackt und aufgezeichnet.

Der SmartMotionController ist so in der Lage, nur durch die Beobachtung der Bewegungen des Krans den Zusammenhang zwischen den (im manuellen Betrieb über einen Joystick eingegebenen) Kontrollbefehlen und der Reaktion des Krans zu lernen. Mit dem gelernten Wissen kann der Controller den Kran zielgenau an eine Zielposition anfahren.

In einem MachineBrain werden die oben beschriebenen Softwarekomponenten zusammengefasst und betrieben. Prinzipiell kann jeder leistungsfähige Rechner die Grundlage für das MachineBrain sein. In SmartRecycling soll jedoch speziell für den Outdoor und Robotereinsatz entwickelte Hardware, wie z.B. das RobotBrain der Fa. Zauberzeug GmbH, eingesetzt werden. Dieser Spezialrechner wird für den Einsatz in staubigen und schmutzigen Umgebungen konzipiert und zeichnet sich durch eine hohe Leistungsfähigkeit bei geringem Energieverbrauch und kleinen Abmessungen bzw. Gewicht aus. Er ist damit ideal für den Einsatz auf hydraulischen Maschinen wie in SmartRecycling. Zum Ende der ersten Projekthälfte wird untersucht, welche Form der ML-Beschleuniger-Hardware (z.B. GPU, TPU, FPGA) für die ausgewählten Verfahren am besten geeignet ist und in dem folgenden Projektabschnitt in die Rechenhardware (z.B. das RobotBrain) integriert werden soll.

Der SmartProcessController kombiniert die Daten zur Position und Stoffklasse eines Objektes (aus ObjectTracker und ObjectClassifier) mit den Daten zur derzeitigen Position und Pose des Krans (aus MotionController) und plant die nächsten Arbeitsschritte des Krans. Dabei können auch Informationen zur aktuellen Marktlage (welche Wertstoffe sind wirtschaftlich zu verwerten) und des Gesamtprozesses (wann kommt der nächste Transport, welche Störstoffe sind besonders umweltschädlich etc.?) einbezogen werden um um die Prozesssteuerung nach ökologischen und ökonomischen Gesichtspunkten zu optimieren.

Damit sich der Kran selbstständig bewegen und vom SmartObjectTracker bestimmte Zielposition anfahren kann, muss die Kontrollsoftware den Zusammenhang zwischen Kontrollbefehlen und der Bewegung des Krans kennen. Dies wird in klassischen Verfahren über eine sogenannte „inverse Kinematik“ berechnet, die auf der genauen Kenntnis der Positionen und Posen der einzelnen Krangelenke, Hydraulikzylinder etc. basiert. Um diese zu erfassen ist es notwendig, den Kran mit entsprechender Sensorik auszustatten, was erhebliche zeitliche und finanzielle Aufwände bedeutet.


Die KI bietet hier eine innovative Möglichkeit zur Steuerung der Maschine mit wesentlich geringerem Aufwand indem KI-basierte Lernverfahren (z.B. Methoden des Reinforcement Learning (RL)) benutzt werden, um die Bewegungsabläufe des Baggers in Relation zu den über die reguläre Steuerschnittstelle gegebenen Kontrollbefehlen zu erlernen. Als Trainingsdaten fungiert hier das Tracking der Schaufelund Gelenkpositionen über externe Sensorik. Mittels an der Decke der Halle und/oder den Seitenwänden angebrachte Sensoren (Kameras) werden (ggf. über spezielle, an der Schaufel und den Gelenken des Krans angebrachte Marker) die Bewegungen des Krans getrackt und aufgezeichnet.


Der SmartMotionController ist so in der Lage, nur durch die Beobachtung der Bewegungen des Krans den Zusammenhang zwischen den (im manuellen Betrieb über einen Joystick eingegebenen) Kontrollbefehlen und der Reaktion des Krans zu lernen. Mit dem gelernten Wissen kann der Controller den Kran zielgenau an eine Zielposition anfahren.