AI und die Schokoladenfabrik

Mit Reinforcement Learning Schokoriegel sortieren

Reinforcement Learning ist ein Ansatz aus der künstlichen Intelligenz (KI), der das natürliche Lernen mathematisch nachbildet. Die Schokoladenfabrik ist ein Beispiel, wie mit diesem Verfahren Steuerungsalgorithmen für Industrieanlagen entwickelt werden können, die sogar die Experten erstaunen.

Mehrere Förderbänder transportieren Schokoriegel – sie gehören zu der Demonstrationsanlage, die vorführt, wie Künstliche Intelligenz Produktionsmaschinen steuern kann. Die Riegel müssen in einer realen Anlage nur noch in Folie verpackt werden – automatisiert natürlich. In dieser Intelligent Infeed Demonstratoranlage von Siemens Digital Industries sollen die Schokoriegel am Ende des Förderbandanlage in regelmäßigen Abständen in Fächer einer Fächerkette platziert werden. „Die Riegel werden in zufälligen Abständen auf das Zuführband gelegt. Die Steuerung der Anlage erreicht das, indem sie die Geschwindigkeiten der Förderbänder verändert. Drei hintereinandergeschaltete Förderbänder, die verlangsamt oder beschleunigt werden können, sorgen dafür, dass die Schokolade auf dem letzten Band richtig positioniert ist“, sagt Martin Bischoff, Experte für Virtual Mechatronics aus der Forschungsabteilung Technology von Siemens. „Ein optimaler Steuerungsalgorithmus hierfür ist durchaus eine kniffelige Programmieraufgabe – wer es nicht glaubt: einfach mal selbst probieren. Wir haben jetzt mit Reinforcement Learning künstliche Intelligenz dafür trainiert, diese Steuerung zu übernehmen.“

 

Reinforcement - aus Erfolg und Misserfolg lernen


Reinforcement Learning ist ein Verfahren der künstlichen Intelligenz, das etwa so funktioniert, wie die meisten Menschen Fahrrad fahren lernen – ohne Kenntnis der physikalischen Grundlagen durch Ausprobieren: Ob die eigene Technik gut ist, erlebt der/die Fahrradanfänger*in unmittelbar bei den Fahrversuchen und wird so nach und nach immer besser.

 

„Genau so funktioniert Reinforcement Learning“, erklärt Michel Tokic, ebenfalls KI-Experte von Technology und Lehrbeauftragter für angewandtes Reinforcement Learning an der LMU. „Die KI bekommt eine Zielspezifikation, also etwa: Die Schokoriegel dürfen nur in den Zielfeldern abgelegt werden und die Anlage soll dabei möglichst schnell arbeiten. Die KI macht dann – zunächst vollkommen willkürliche – Steuerungsversuche am Simulationsmodell, diese Anforderungen zu erfüllen und bekommt eine durch Lichtschrankensignale ausgelöste Rückmeldung, wie gut dieser Versuch war. Mit diesem Feedback wird nach und nach in vielen Trainingszyklen eine zufriedenstellende Lösung entwickelt.“ In dem Schokoladen-Beispiel waren etwa 3 Millionen Trainingszyklen notwendig, bis die KI die Riegel korrekt in die Felder platzieren konnte.

 

Training am Digitalen Zwilling

Fehler in einer Anlagensteuerung können teure oder gefährliche Folgen haben. Daher werden standardmäßig die Steuerungen an digitalen Zwillingen der Anlagen risikolos entwickelt und getestet (Siemens Virtual Commissioning). Mit dem digitalen Zwilling der Anlage lässt sich auch die AI trainieren.

„Nach etwa 72 Stunden Training mit dem Digitalen Zwilling auf einem handelsüblichen Rechner – etwa 24 Stunden auf Rechner-Clustern in der Cloud – ist die AI bereit, die reale Anlage zu steuern. Das ist auf jeden Fall sehr viel schneller, als wenn Menschen diese Steuerungsalgorithmen entwickeln“, sagt Bischoff. „In Erlangen haben wir mit unseren Kolleg*innen von Siemens Digital Industries den Demonstrator aufgebaut, der von dieser KI gesteuert wird und sich genauso verhält, wie wir es erwarten – ein wichtiger Meilenstein für unser vom Siemens Innovationsfund finanziertes Projekt."  

Ein anderer Lösungsweg als die Ingenieure

„Wenn man die Förderbänder, die von der KI gesteuert werden, beobachtet, fällt auf, dass die KI eine Lösungsstrategie gefunden hat, bei der alle Schokoriegel auf den vorderen Förderbändern möglichst schnell weitertransportiert werden und erst auf dem letzten Förderband genau die Geschwindigkeit gesteuert wird. Diese Strategie funktioniert gut und ist interessanterweise ganz anders als die unserer konventionellen Steuerung“, sagt Thomas Hennefelder. Der für die Maschine verantwortliche Ingenieur bei Siemens Digital Industries sieht noch großes Potential in der Methodik, KI komplexe Steuerungsaufgaben eigenständig am Digitalen Zwilling lernen zu lassen. „Mit diesem Ansatz können wir nun viel effizienter und in wesentlich kürzerer Zeit anwendungsspezifisch optimierte Steuerungen entwickeln. Produktionsmaschinen sind in Zukunft nicht mehr auf Aufgaben beschränkt, für die bereits ein Steuerungsprogramm entwickelt wurde, sondern können alle von der KI erlernbaren Aufgaben realisieren.“

Aenne Barnard, Juli 2021

Subscribe to our Newsletter

Stay up to date at all times: everything you need to know about electrification, automation, and digitalization.