Damit sich der Kran selbstständig bewegen und vom SmartObjectTracker bestimmte Zielposition anfahren kann, muss die Kontrollsoftware den Zusammenhang zwischen Kontrollbefehlen und der Bewegung des Krans kennen. Dies wird in klassischen Verfahren über eine sogenannte „inverse Kinematik“ berechnet, die auf der genauen Kenntnis der Positionen und Posen der einzelnen Krangelenke, Hydraulikzylinder etc. basiert. Um diese zu erfassen ist es notwendig, den Kran mit entsprechender Sensorik auszustatten, was erhebliche zeitliche und finanzielle Aufwände bedeutet.
Die KI bietet hier eine innovative Möglichkeit zur Steuerung der Maschine mit wesentlich geringerem Aufwand indem KI-basierte Lernverfahren (z.B. Methoden des Reinforcement Learning (RL)) benutzt werden, um die Bewegungsabläufe des Baggers in Relation zu den über die reguläre Steuerschnittstelle gegebenen Kontrollbefehlen zu erlernen. Als Trainingsdaten fungiert hier das Tracking der Schaufelund Gelenkpositionen über externe Sensorik. Mittels an der Decke der Halle und/oder den Seitenwänden angebrachte Sensoren (Kameras) werden (ggf. über spezielle, an der Schaufel und den Gelenken des Krans angebrachte Marker) die Bewegungen des Krans getrackt und aufgezeichnet.
Der SmartMotionController ist so in der Lage, nur durch die Beobachtung der Bewegungen des Krans den Zusammenhang zwischen den (im manuellen Betrieb über einen Joystick eingegebenen) Kontrollbefehlen und der Reaktion des Krans zu lernen. Mit dem gelernten Wissen kann der Controller den Kran zielgenau an eine Zielposition anfahren.