Réalité virtuelle à portée de main

Des mains numériques plus vraies que nature

Le succès des formations en réalité virtuelle se heurte souvent à l’incapacité à reproduire fidèlement les fonctions du principal outil de l’être humain : ses mains. Plus la simulation est réaliste, meilleure est l’efficacité pédagogique de la formation. Dans ce contexte, la start-up suédoise Gleechi, Siemens et Atos ont développé une application logicielle capable de simuler de façon réaliste les mouvements de la main. Ainsi, les opérateurs industriels peuvent désormais s’entraîner, seuls ou en équipe, à manipuler avec précision des objets sur une plateforme dédiée.

C’est bien connu : les robots industriels peuvent effectuer sans relâche les tâches pour lesquelles ils sont programmés. Cela ne les empêche pas parfois de nécessiter une intervention humaine, notamment lorsque le moteur du bras robotique tombe en panne. Que faire alors ? Une mécatronicienne désireuse de parfaire sa qualification professionnelle pourra désormais se former à la maintenance en robotique à l’aide d’un casque de réalité virtuelle (VR) et de deux contrôleurs tactiles.

 

Sur l’écran de son visiocasque, elle verra une représentation virtuelle de ses mains reproduire à l’identique les mouvements de ses doigts. Des instructions claires et précises lui indiqueront comment démonter le bras défectueux, le poser sur un établi, retirer le carter et démonter le moteur. C’est une réparation compliquée qui l’oblige à utiliser plusieurs outils, à effectuer différents gestes techniques, et à soulever ou faire pivoter le bloc moteur à deux mains. Les mouvements de ses mains numériques sont tellement réalistes qu’elle en oublierait presque qu’elle travaille dans un environnement virtuel. Dès son arrivée le lendemain à l’usine, elle sera dès lors capable de réparer rapidement le bras robotique grâce aux gestes appris dans l’espace numérique.

Projetez-vous dans notre monde numérique

Le monde qui nous entoure est en constante évolution. Chez Siemens, nous plaçons la barre toujours plus haut pour imaginer un avenir meilleur. Nous recherchons les talents les plus créatifs et les plus divers pour développer la réalité de demain. Nos carrières numériques vous offrent l’opportunité d’imaginer le futur et de changer la société. 

L’avenir des plateformes VR

Les mains sont le principal outil de l’être humain dans son interaction avec le monde réel. De nombreuses applications de réalité virtuelle gagneraient en efficacité si elles pouvaient intégrer l’usage des mains. Au-delà des jeux vidéo, en première ligne des innovations en la matière, les formations en réalité virtuelle, dans des secteurs aussi variés que la santé, les services, la logistique ou encore l’industrie, sont aujourd’hui en plein essor. Ce type de formation est extrêmement prisé. Outre la pandémie, qui a contraint de nombreux professionnels au télétravail, plusieurs facteurs expliquent cette tendance : la pénurie croissante d’experts et de formateurs expérimentés, le manque de disponibilité des matériels de formation, les contraintes d’accès aux sites de production, mais aussi la difficulté de coordonner les emplois du temps pour réunir l’ensemble des personnes impliquées en un même lieu. 

 

Le recours à des mains virtuelles pourrait répondre à une demande croissante, notamment dans l’industrie. Malgré les progrès constants de l’automatisation, l’intervention humaine restera incontournable dans les années à venir pour accomplir certaines tâches : câblage d’un avion de ligne, contrôle des boîtes d’essieu d’un véhicule ferroviaire, montage d’un coffret de commande ou bien encore, comme dans notre exemple, réparation d’un bras robotique. La formation en réalité virtuelle ouvre à cet égard de nouvelles opportunités. C’est pourquoi la recherche dans ce domaine bat son plein. « Offrir une expérience réaliste dans un environnement virtuel et développer des formations pour faciliter le travail en équipe : telles sont les prochaines étapes du développement des plateformes VR », explique Georg Schöler, chef du département Digital Operations chez Siemens. « Pour cela, la capacité à reproduire le plus fidèlement possible la réalité des sensations de nos mains constitue un enjeu majeur. »

Précision des données d’entrée, mouvement organique

Chef-d’œuvre de mécanique, les mains se caractérisent par leur finesse, leur mobilité et leur puissance. Grâce à elles, nous sommes capables, littéralement, de saisir le monde, et de le comprendre. Transposer les capacités de nos mains dans le monde virtuel n’est pas chose aisée. D’une part, les périphériques d’entrée permettant la capture du mouvement des mains réelles (gants de données, manettes, scanner intégré au casque VR) doivent être d’une grande précision. D’autre part, il convient de faire en sorte que les actions accomplies par les mains virtuelles (saisir ou maintenir en position un objet, par exemple) soient aussi réalistes que possible sur le plan visuel, afin de favoriser l’immersion dans l’espace numérique et accroître l’efficacité pédagogique de la formation virtuelle. 

C’est précisément une solution de ce type qui a été développée par la start-up suédoise Gleechi. Son application logicielle VirtualGrasp, qui intègre des données relatives à la technique de préhension robotique, la forme des objets à manipuler et le modèle cinématique de la main, génère des animations réalistes. En 2020, Gleechi a testé et développé cette solution pour des formations virtuelles dans l’industrie. Le projet, financé par l’UE, a été mené en partenariat avec Siemens, expert en applications industrielles, et Atos, prestataire de services du numérique et expert dans les technologies de l’information et de l’analyse de données.

Saisie des propriétés de l’objet

VirtualGrasp fonctionne actuellement avec deux manettes qui permettent à une personne de contrôler deux mains virtuelles parfaitement réalistes. Une simple pression sur un bouton permet de saisir un objet, ou inversement de le relâcher. Il est également possible de le déplacer en le poussant, voire de dribler avec un ballon de basket. « Au début, cela demande un peu d’entraînement », explique Kai Hübner, Chief Technology Officer chez Gleechi. « Mais l’expérience montre que les gens oublient très vite qu’ils tiennent en main des manettes. » 

 

Pour autant, la main virtuelle ne se contente pas de réagir à une commande, par exemple ramasser un objet. Elle enregistre en même temps la forme de l’objet et la manière de le saisir. Lors de la saisie d’un tournevis, par exemple, l’objet ne colle pas à la main virtuelle comme par magie, les doigts enserrent le manche comme dans la réalité. Parmi les propriétés collectées, le système pourra enregistrer le poids de l’objet, et ainsi déterminer s’il faut le soulever à une ou deux mains. De même, s’il ne faut pas toucher une partie de l’objet, par exemple la lame du tournevis ou une composante sous tension, l’utilisateur en est averti par un signal lumineux rouge. 

Formation individuelle ou en équipe

VirtualGrasp peut être facilement intégré à V@RENA, la plateforme de réalité virtuelle et augmentée de Siemens Digital Industries, sur laquelle les entreprises peuvent développer de façon autonome et flexible, avec quelques adaptations légères, leurs propres formations en réalité virtuelle, par exemple pour la réparation d’un bras robotique. Mais l’objectif de ce projet de développement financé par l’UE n’était pas seulement de créer des mains virtuelles réalistes, aussi laborieuses fussent-elles, mais de proposer à l’industrie des solutions de formation en réalité virtuelle pour des équipes entières.

 

L’application logicielle peut notamment être utilisée pour réaliser le câblage d’un coffret de commande par deux opérateurs. VirtualGrasp a ainsi démontré qu’il pouvait être mis en œuvre sur une plateforme de réalité virtuelle. Il est possible ainsi non seulement de s’entraîner à effectuer des opérations impliquant plusieurs actions sur différentes pièces, mais aussi de les analyser et au besoin de les optimiser.

Une ère nouvelle

Seul face à son établi virtuel ou avec des collègues se présentant sous la forme d’un avatar dans un atelier de production, les mains restent, comme dans la réalité, l’outil principal. Il importe donc de poursuivre le développement et la mise en œuvre de VirtualGrasp. Cet objectif sera d’autant plus aisé à atteindre que le kit VirtualGrasp peut d’ores et déjà être intégré avec un grand nombre de plateformes VR. En outre, il pourra bientôt être utilisé avec de nouveaux périphériques d’entrée, qu’il s’agisse de gants haptiques ou de systèmes de capture optique de mouvements. « L’avenir de la formation virtuelle est à portée de main », selon Joseph Newman, expert en réalité virtuelle et augmentée chez Siemens Technology. « Ce type de solution marque le début d’une ère nouvelle, aussi bien pour la formation dans l’industrie que pour l’ensemble des tâches menées en réalité virtuelle. »

Hubertus Breuer, avril 2021

Abonnez-vous à la newsletter

Restez à jour à tout moment : ce que vous devez savoir sur la transformation numérique au sein des infrastructures et des industries.