Virtuelle Handarbeit

Digitale Hände ermöglichen lebensechte Erfahrungen

Der Erfolg virtueller Schulungen steht und fällt mit der Funktionalität des wichtigsten Werkzeugs des Menschen: den Händen. Je lebensechter, desto größer der Lerneffekt. Das schwedische Startup Gleechi, die Siemens AG und Atos haben jetzt mithilfe einer Softwareapplikation bewiesen, dass virtuelle Hände im industriellen Bereich verschiedenste Aufgaben realistisch handhaben können. Und das auf einer Plattform, die nicht nur Einzelpersonen, sondern ganzen Teams erlaubt, Arbeitsprozesse einzuüben.

Fertigungsroboter mögen klaglos rund um die Uhr ihre Aufgaben verrichten, aber gelegentlich brauchen auch sie ein wenig liebevolle Pflege. Etwa, wenn der Motor des Arms unerwartet ausfällt. Was tun? Da hilft beispielsweise einer Mechatronikerin, die genauere Details wissen will, eine Schulung mit einer Virtual Reality (VR)-Brille und zwei Controllern in der linken und der rechten Hand.

In der VR-Brille sieht sie ihre virtuellen Hände – und wenn sie ihre realen Finger bewegt, machen die virtuellen Finger die gleichen Bewegungen. Gut lesbare Anleitungen helfen ihr, den Arm abzumontieren, ihn auf einen Werktisch zu legen, die Metallplatten abzunehmen und den Motor herauszuschrauben. Eine komplizierte Reparatur: Sie muss Werkzeuge wechseln, verschiedene Griffe anwenden und das schwere Teil mitunter auch mit beiden Händen heben oder drehen. Ihre digitalen Hände bewegen sich so realistisch, dass sie fast vergisst, dass sie nur in einem virtuellen Raum arbeitet. Als sie am nächsten Tag in die Fabrik kommt, kann sie den Roboterarm schnell mit den virtuell eingeübten Schritten reparieren.

Picture yourself in our Digital World

The world around us is constantly changing. At Siemens we are always challenging ourselves to build a better future. We need the most innovative and diverse Digital Minds to develop tomorrow‘s reality. Our digital careers offer the opportunity to shape the future and create impact for society. 

Der nächste Schritt für VR-Plattformen

Hände sind Dreh- und Angelpunkt unserer physischen Interaktion mit der Welt. Deshalb ist es für viele VR-Anwendungen hilfreich, wenn wir auch hier unsere Hände verwenden können – nicht nur bei Computerspielen, bei denen heute VR-Innovationen meist zuerst umgesetzt werden, sondern auch bei virtuellen Schulungen, sei es im Gesundheits- oder Dienstleistungssektor, in der Logistikbranche oder in der Industrie. Die sind heute mehr denn je gefragt – und nicht nur, weil die Pandemie viele genötigt hat, aus dem Homeoffice zu arbeiten. Auch der zunehmende Mangel an erfahrenen Experten und Lehrkräften spielt eine gewichtige Rolle, die eingeschränkte Verfügbarkeit von Trainingsobjekten, der mitunter schwierige Zugang zu Produktionsstätten und nicht zuletzt der schlichte Aufwand, Menschen an einem Ort zusammenzubringen.

Der Bedarf an virtuellen Händen ist groß: Gerade in der Industrie gibt es etliche Aufgaben, die trotz aller Automatisierung auf absehbare Zeit nicht ohne händischen Einsatz auskommen: Sei es die Verkabelung eines Linienflugzeuges, die Prüfung des Achslagers eines Triebwagens, das Einrichten elektronischer Schaltkästen oder eben die Reparatur eines Roboterarms. Da bieten sich VR-Schulungen an – und deshalb wird ständig an ihrer Verbesserung gearbeitet. „Das realistische Erleben virtueller Räume und das Training speziell für Teamarbeiten sind die nächsten wichtigen Schritte für die Anwendung von VR-Plattformen“, sagt Georg Schöler, Leiter Digital Operations bei der Siemens AG. „Lebensecht erlebte Hände sind dabei ein zentraler Baustein.“

Klare Eingabe, organische Bewegung

Hände sind ein mechanisches Wunderwerk, feingliedrig, hochbeweglich und kraftvoll, das uns erlaubt, die Welt buchstäblich zu er- und begreifen. Sie lebensecht ins Virtuelle zu übersetzen, ist indes keine Kleinigkeit. Da müssen zum einen die Eingabegeräte –Datenhandschuhe, geeignete Controller oder in die VR-Brille eingebaute Scanner – mitspielen, welche die Bewegungen der realen Hände erfassen. Gleichzeitig sollten die Aktionen der VR-Hände – greifen, halten usw. – möglichst realistisch wirken, denn das verstärkt das Eintauchen in die virtuelle Welt und so den Lerneffekt.

Genau eine solche Lösung hat das schwedische Startup-Unternehmen Gleechi entwickelt. Seine „VirtualGrasp“ genannten Softwareapplikation erzeugt realistische Handanimationen auf der Grundlage der Robotergreiftechnik, der jeweiligen Objektform und der Handkinematik. 2020 hat Gleechi diese Lösung für industrielle VR-Trainings im Rahmen eines von der EU geförderten Projekts gemeinsam mit der Siemens AG – als Experte für Industrieanwendungen – und dem IT-Dienstleister Atos – für die Datenanalyse – getestet und weiterentwickelt.

Erfasste Eigenschaften

‚VirtualGrasp‘ funktioniert derzeit mit zwei Controllern, die es einer Person erlauben, zwei realistische Hände zu steuern. Die können per Knopfdruck einen Gegenstand greifen – und fallen lassen, lässt man den Knopf wieder los. Die Hände können Objekte auch schieben – und, falls gewünscht, selbst einen Basketball dribbeln. „Schulungsteilnehmer müssen das erst einüben“, sagt Kai Hübner, Chief Technology Officer bei Gleechi. „Aber erfahrungsgemäß vergessen sie schnell, dass sie Controller in ihren Händen halten.“

Die virtuelle Hand folgt dabei nicht nur dem Befehl, etwa einen Gegenstand aufzuheben, sondern erfasst auch, wie er geformt ist und wie er gegriffen werden muss. Nimmt jemand virtuell einen Schraubenzieher in die Hand, klebt der nicht einfach an ihr, sondern die Finger umfassen den Griff, wie es in der Wirklichkeit der Fall wäre. Zu diesen erfassten Eigenschaften kann auch das Gewicht gehören – und damit, ob der Gegenstand sich mit nur einer oder mit zwei Händen heben lässt. Selbst, wenn ein Bereich nicht angefasst werden soll – wie der Metallstab eines Schraubenziehers oder ein unter Strom stehendes Bauteil –, bemerkt der Nutzer das schnell, wenn ein rotes Warnsignal aufleuchtet.

Nicht nur für Einzeltäter, sondern ganze Teams

Auf der Virtual- und Augmented Reality Plattform ‚V@RENA‘ von Siemens Digital Industries, die es Unternehmen ermöglicht, flexibel und eigenständig VR-Schulungen zu erstellen, konnte ‚VirtualGrasp‘ mit leichten Anpassungen integriert werden – etwa, um Roboterarme zu reparieren. Ziel des durch die EU geförderten Entwicklungsprojekt war aber nicht, ein einsames Paar fleißiger virtueller Hände zu unterstützen, sondern VR-Optionen für die Schulungen ganzer Teams im Industriebereich zu erstellen.

Auch das ließ sich auf einer VR-Plattform umsetzen, und zwar am Beispiel eines zweiköpfigen Teams, das einen Schaltkasten verkabeln musste. Damit lassen sich nicht nur mehrteilige Arbeitsabläufe einüben, sondern sie auch analysieren und gegebenenfalls optimieren.

Eine neue Ära

Ob alleine vor der virtuellen Werkbank stehend oder gemeinsam mit Kollegen in Form von Avataren in einer Fabrikhalle – die Hände sind, wie in der Wirklichkeit, das wichtigste Werkzeug. Deshalb soll ‚VirtualGrasp‘ weiter ausgebaut und eingesetzt werden. Dabei hilft, dass sich das ‚VirtualGrasp‘-Kit schon heute in verschiedenste VR-Plattformen integrieren lässt. Zudem soll es in naher Zukunft mit weiteren Eingabegeräten – wie haptischen Handschuhen oder optische Bewegungserfassung, einsetzbar sein. „Es liegt sozusagen auf der Hand“, sagt Joseph Newman, AR/VR Experte bei Siemens Technology. „Lösungen wie diese läuten nicht nur für industrielle Schulungen und Trainings, sondern für alle virtuellen Handlungen eine neue Ära ein."

Hubertus Breuer, April 2021