KI und die Schokoladenfabrik

Reinforcement Learning ist ein Ansatz aus der künstlichen Intelligenz (KI), der das natürliche Lernen mathematisch nachbildet. Die Schokoladenfabrik ist ein Beispiel, wie so deutlich schneller anwendungsspezifisch optimierte Steuerungen entwickelt werden können.

Mehrere Förderbänder transportieren Schokoriegel – sie gehören zu der Demonstrationsanlage, die vorführt, wie künstliche Intelligenz Produktionsmaschinen steuert. Die Riegel müssen in einer realen Anlage in Folie verpackt werden – automatisiert natürlich. In der Intelligent Infeed Demonstratoranlage sollen die Schokoriegel am Förderbandende in regelmäßigen Abständen in Fächer einer Fächerkette platziert werden. „Die Riegel werden in zufälligen Abständen auf das erste Zuführband gelegt. Unsere KI-Steuerung verlangsamt oder beschleunigt nun drei weitere, hintereinandergeschaltete Förderbänder, und sorgt so dafür, dass die Schokolade auf dem letzten Band richtig liegt“, sagt Martin Bischoff, Experte für Digital System Integration aus der Forschungsabteilung Technology von Siemens. „Der Steuerungsalgorithmus hierfür ist durchaus eine kniffelige Programmieraufgabe – wer es nicht glaubt: einfach mal selbst probieren. Wir haben jetzt mit Reinforcement Learning künstliche Intelligenz dafür trainiert, diese Steuerung zu übernehmen.“

Darstellung in der Simulation: Die Riegel werden in zufälligen Abständen auf das erste Förderband gelegt. Auf dem letzten Förderband liegen sie innerhalb der markierten Zonen

Reinforcement - aus Erfolg und Misserfolg lernen

Reinforcement Learning ist ein Verfahren der künstlichen Intelligenz, das etwa so funktioniert, wie die meisten Menschen Fahrrad fahren lernen – ohne Kenntnis der physikalischen Grundlagen durch Ausprobieren: Ob die eigene Technik gut ist, erlebt der/die Fahrradanfänger*in unmittelbar bei den Fahrversuchen und wird so nach und nach immer besser.

„Genau so funktioniert Reinforcement Learning“, erklärt Michel Tokic, ebenfalls KI-Experte von Technology und Lehrbeauftragter für angewandtes Reinforcement Learning an der LMU. „Die KI bekommt eine Zielspezifikation, also etwa: 'Die Schokoriegel dürfen nur in den Zielfeldern abgelegt werden und die Anlage soll dabei möglichst schnell arbeiten'. Die KI macht dann – zunächst vollkommen zufällige – Steuerungsversuche am Simulationsmodell und bekommt eine durch Lichtschrankensignale ausgelöste Rückmeldung, wie gut jeder Versuch war. Mit diesem Feedback entsteht nach vielen automatisierten Trainingszyklen ein zielführender Steuerungsalgorithmus.“

Training am Digitalen Zwilling

Fehler in einer Anlagensteuerung können teure oder gefährliche Folgen haben. Daher werden standardmäßig die Steuerungen an digitalen Zwillingen der Anlagen risikolos entwickelt und getestet (Siemens Virtual Commissioning). Mit dem digitalen Zwilling der Anlage lässt sich auch die AI trainieren.

„Nach etwa 72 Stunden Training mit dem Digitalen Zwilling auf einem handelsüblichen Rechner – etwa 24 Stunden auf Rechner-Clustern in der Cloud – ist die AI bereit, die reale Anlage zu steuern. Das ist auf jeden Fall sehr viel schneller, als wenn Menschen diese Steuerungsalgorithmen entwickeln“, sagt Bischoff. Mit Reinforcement Learning hat die KI eine Lösungsstrategie entwickelt, bei der alle Schokoriegel auf den vorderen Förderbändern möglichst schnell weitertransportiert werden und erst auf dem letzten Förderband genau die Geschwindigkeit gesteuert wird - ist interessanterweise ganz anders als die einer konventionellen Steuerung.

Martin Bischoff (r), Michel Tokic (l) und ihr Team haben es geschafft, KI für Steuerungsaufgaben anzuwenden, diese eigenständig an digitalen Zwillingen zu trainieren und anschließend auf Siemens SIMATIC Steuergeräte zu laden.

Aus dem Labor in den Industrie-Einsatz: Das AI Motion Framework

„Die Forscher um Martin Bischoff konnten inzwischen ihren Ansatz praxistauglich machen, indem sie die trainierten Steuerungsmodelle wurden so komprimierten und kompilierten, dass sie echtzeit-fähig auf den Siemens Simatic-Steuerungen zyklus-synchron laufen.

Thomas Menzel, zuständig für den Bereich Digital Machines and Innovation, sieht großes Potential in der Methodik, KI komplexe Steuerungsaufgaben eigenständig am Digitalen Zwilling lernen zu lassen: „Unter dem Namen AI Motion hilft dieses Lösungsframework mittlerweile mehreren Co-Creation-Partnern, deutlich schneller anwendungsspezifisch optimierte Steuerungen zu entwickeln. Produktionsmaschinen sind nun nicht mehr auf Aufgaben beschränkt, für die bereits ein Steuerungsprogramm entwickelt wurde, sondern können alle von der KI erlernbaren Aufgaben realisieren. Die Integration mit unserem Simatic-Portfolio macht den Einsatz dieser Technologie besonders industrie-tauglich.“