Passer au contenu principal
Imprimer tout le livreImprimer tout le livre

Les applications et usages de la réalité virtuelle et augmentée en pédagogie

Site: SAVOIR : Plateforme pédagogique
Cours: AM - Module de formation sur les technologies du virtuel
Livre: Les applications et usages de la réalité virtuelle et augmentée en pédagogie
Imprimé par: Visiteur anonyme
Date: dimanche 14 décembre 2025, 19:56

Table des matières

1. Introduction

Les expériences en environnement virtuel n'ont pas pour objectifs de remplacer systématiquement l'expérimentation en environnement réel. Elles ne sont à utiliser que lorsque cela est pertinent, notamment lorsqu'elles apportent une plus-value pédagogique.

Elle constitue un complément d'apprentissages en situation réelle pour :

  • l'apprentissage expérientiel
  • l'apprentissage réflexif
  • l'obtention des données sur l'apprenant

La similarité entre apprentissage via une expérience de réalité virtuelle et une mise en pratique dans le monde réel facilite-t-elle le transfert de savoirs ? La réponse reste toujours en suspend pour l'instant mais il semblerait que plus les environnements créés en réalité virtuelle sont complexes, plus cela crée de polyvalence pédagogique pour l'exécution de la tâche.

En ce qui concerne la réalité augmentée : elle ouvre un bon nombre de nouvelles possibilités pour l'enseignement expérientiel, son usage permet notamment de mettre des étudiantes et étudiants en situation, dans un contexte réel de pratique et de pouvoir leur donner de la rétroaction virtuelle à mesure qu'ils se déplacent dans l'espace réel.

Des chercheurs se sont également penchés sur l'utilisation de la réalité augmentée :

"La réalité augmentée permet non seulement d'intégrer un volet ludique à l'apprentissage, mais elle offre un énorme intérêt pédagogique : manipulation d'objets, représentation dans l'espace, visualisation anatomique, simulation d'interactions et de réactions chimiques, utilisation de la mémoire visuelle et gestuelle, etc., les possibilités sont vastes. " (Elouardani, 2015)

 

 

2. Impliquer l'apprenant

2.1. Motiver ses étudiants via des pratiques ludiques

Apprendre en s'amusant : c'est possible et le domaine éducatif se rend de plus en plus compte de l'utilité de activités ludiques en pédagogie.

Le jeu peut favoriser l'apprentissage, il permet notamment de :

  • rendre les étudiants acteurs
  • de les motiver par le jeu
  • tenir compte du concept de flow, bien connu dans le monde du jeu


Exemple : Le jeu Parallèle

Le jeu Parallèle permet d'apprendre la physique et plus particulièrement l'électromagnétisme par le jeu. La plupart des applications de réalité augmentée destinées à l'éducation proposent des visualisations en 3D, mais demandent peu d'actions de la part des apprenants. L'équipe de développement du projet Parallèle a voulu exploiter le potentiel interactif de la réalité augmentée pour concevoir un « jeu sérieux » destiné aux étudiants en physique.


Parallèle : apprendre la physique par le jeu - Cegep St Foy, Canada

Exemple : SuperChem VR

SuperChem utilise le potentiel de la réalité virtuelle pour immerger l'étudiant dans un environnement fun pour apprendre la chimie. Aucun danger si l'étudiant se trompe car il n'y a pas d'utilisation de vrai produit corrosif, ni de risques d'incendies. L'étudiant a également accès à un nombre infini de ressources. L'accent est mis sur le jeu pour encourager la curiosité de l'étudiant.


Super Chem VR - Schell Games


2. Impliquer l'apprenant

2.2. Adaptation automatique des activités

Les réalités virtuelles et augmentées peuvent permettre une pédagogie différenciée pour les apprenants. L'objectif étant de proposer sur un même support de cours, plusieurs ressources accessibles via le smartphone de l'élève par exemple. Les intérêts de l’individualisation d'un enseignement sont nombreux, cela permet de favoriser la motivation mais également de lutter contre l'échec ou la baisse d'intérêt.


Exemple : L'application Mirage Make

L'application Mirage Make, est une application qui permet de créer du contenu en réalité augmentée. Plusieurs fonctionnalités existent telles que l'aide à la lecture pour les dyslexiques et les mal-voyants, la dictée en autonomie, les quizz interactifs ou encore le coffre fort pour gamifier une séance pédagogique. Plusieurs types de ressources peuvent être proposées sur un même support papier, il est donc possible d'individualiser l'enseignement.


Mirage Make


Exemple : Floreo - une méthode pour l'éducation des autistes

Floreo est une application de réalité virtuelle pour l'éducation des autistes. Elle s'utilise pour enseigner en complément le social et la communication à des autistes.

Elle est complètement immersive et répétable à l'infini. La famille et les thérapeutes peuvent guider la progression de l'élève et individualiser son parcours.


Extrait du module "attirer l'attention de l'enfant via le son" - Floreo VR

2. Impliquer l'apprenant

2.3. Amélioration de l'interactivité

D'autre applications et plateformes favorisent également l'immersion en proposant de l'interactivité dans les modules de formation. Ces modules sont répétables à l'infini et ils permettent de simuler des situations réelles et d'améliorer l'efficacité de la tâche par l'émotion et l'engagement.


Exemple : L'exemple de First Class

Pour la formation des enseignants : First Class est une plateforme de classe virtuelle, l'enseignant est immergé dans une classe virtuelle avec des apprenants et il doit donc simuler un cours. Les apprenants virtuels ont leur propres caractères : ils s'ennuient, ou se démotivent... ce qui doit inciter l'enseignant à agir.

Extrait de First Class - Penn State

2. Impliquer l'apprenant

2.4. Plus collaboratif

Il existe par ailleurs, des plateformes en réalité virtuelle qui peuvent permettre la collaboration en temps réel entre des personnes éloignés physiquement et cela sans aucune limite de temps.


Exemple : MRC Education

La plateforme MRC Education (un projet Chine-Canada) (Image 1) permet des échanges entre les étudiants chinois et leur tuteur natif canadien pour l'apprentissage de l'anglais. Ils peuvent donc discuter selon différents scénarios et différents environnements immersifs en imitant le contexte social. IL s'agit ici de simuler des interactions sociales.

Image 1 -Illustration de l'environnement immersif - MRC Education

3. Des situations d'apprentissage

Cliquez sur une icône pour accéder à son contenu.


          

         

3.1 Visualiser / Se déplacer

 

3.2 Répéter

          

3.3 S'entraîner sans danger




      

 
   

3.4 Comprendre des systèmes complexes

           

3.5 Simuler des situations

   3.6 Se mettre dans la peau de...


3. Des situations d'apprentissage

3.1. Visualiser / Se déplacer

Un des plus values concernant l'usage de la réalité virtuelle en pédagogie est l'immersion dans un environnement qu'il serait impossible de visiter dans la vie réelle. Des environnement comme l'intérieur du corps humain ou encore le système solaire sont très difficiles à se représenter pour des étudiants. L'immersion dans ces mondes infiniment grand et/ ou infiniment petit permet d'intérioriser la compréhension d'une réalité lointaine et de se rendre compte de la perspective grâce à un champ de vision réaliste.


Exemple : The Circadian Rythm

C'est une application qui permet de se plonger dans le corps humain, de découvrir en 3D l'intérieur de notre corps et s'y déplacer et cela pour une meilleure compréhension et visualisation du corps dans son ensemble. Cette application, déjà citée dans ce module de formation, a des usages en pédagogie, notamment dans l'apprentissage du fonctionnement détaillé de notre corps humain au niveau cellulaire et au niveau des interactions avec notre horloge biologique.


Trailer de "The Circadian Rythm"


Exemple : L'exemple de l'enseignement de la neuroanatomie à l'Université de Colombie britannique (UBC)

Le cerveau est composé de plusieurs parties, il est parfois compliqué pour les étudiants de comprendre cette anatomie particulière. En partenariat avec Microsoft, l'UBC a créé un module de formation en réalité augmentée à destination des étudiants en neuro anatomie. Les étudiants peuvent se déplacer autour du cerveau, le visualiser en 3D : ce qui leur permet une meilleure compréhension.


Apprendre la neuro anatomie à l'UBC


Exemple : L'application Jigspace

Beaucoup d'applications pour smartphones et tablettes existent en matière d'enseignement en réalité augmentée dont l'américaine « JigSpace ». Cette application est une librairie de scènes 3D animées à visualiser en réalité augmentée. Ces scènes sont peu nombreuses mais variées, elles permettent par exemple de se représenter les différentes couches géologiques de la Terre ou le fonctionnement d'un piano.


L'application JigSpace


3. Des situations d'apprentissage

3.2. Répéter
L'autre principal intérêt des technologies du virtuel pour la pédagogie est la répétition. Les applications et plateformes proposent des activités qui sont répétables à l'infini, les utilisateurs peuvent donc répéter des gestes sans se blesser et à moindre coût. Ils peuvent également tester leurs connaissances et leurs réflexes. Des scénarios permettent également de tester le raisonnement des étudiants sur plusieurs cas d'études et de favoriser le transfert théorie-pratique.

Exemple : L'exemple avec la chirurgie du rocher à Sorbonne Université

A Sorbonne université, l'application 3DRV permet aux étudiants de s'entraîner à la chirurgie du rocher. L'application permet dans un premier temps de visualiser le rocher pour les étudiants en médecine, puis de pratiquer des simulations pour former les chirurgiens à la pose d'implants cochléaires destinés à traiter la surdité. Les futurs professionnels peuvent ainsi s'entraîner à cette intervention sur un rocher virtuel, puis sur un rocher imprimé en 3D tout cela sans aucun risque pour un éventuel patient.

Capture d'écran de l'application 3DRV - Sorbonne Université

Exemple : Le simulateur de chirurgie laparoscopique

L'entreprise Open Simulation a créé un kit pour s'entraîner à la chirurgie laparoscopique, en utilisant son smartphone afin que des chirurgiens s'entraînent à cette opération délicate.


Le simulateur de chirurgie laparoscopique - Demo - Open Simulation


Exemple : Modules de formation à l'université de Newcastle (Australie) pour les futurs dentistes

Oral Heath Therapy VR

3. Des situations d'apprentissage

3.3. S'entraîner sans danger

Utilisation d'une machine dangereuse

Outre les simulations en réalité virtuelle dans le domaine de la santé, qui permettent de ne pas faire prendre de risques au patients car virtuel, la réalité virtuelle et la réalité augmentée permettent aux apprenants d'apprendre sans se blesser et sans danger.


Exemple : Wave NG

L'exemple de la station de travail Wave NG de Mimbus qui permet de s'entraîner à souder : cela minimise les coûts, et les risques de blessures : brûlures, électrocution, projections, etc...


Wave NG - Un simulateur pour apprendre la soudure - Mimbus


Des situations à risques

Exemple : L'exemple de SPIE Batignolles

SPIE Batignolles forme ses employés grâce à un module en réalité virtuelle. Ce module permet notamment de s'entraîner au dynamitage : action non sans risques.

Les employés peuvent donc :

  • s'entraîner à manipuler des explosifs, les placer sans danger
  • conduire des machines
  • piloter un employé tunnelier sur une aire de travaux fictive

SPIE Batignolles, une immersion dans la réalité des travaux souterrains

Exemple : Programme pour les services d'urgence

En Angleterre, un programme permettant aux services d'urgence de s'entraîner dans des représentations d'espaces réels (immeuble, centre commercial, etc..) à l'aide de photographies réalistes a été créé pour proposer des modules de formation. Ce programme est à destination des pompiers, avec des reconstitutions de scène d'incendie ou des services de police, avec des reconstitutions de scène de crimes. Ces modules permettent aux équipes de s'entraîner, sans danger et à moindre coût.


RIVR ou comment entraîner les services d'urgence sans danger

3. Des situations d'apprentissage

3.4. Comprendre des systèmes complexes

La réalité virtuelle permet de construire des modèles 3D décomposables, de décortiquer et de déplacer les éléments, de les faire bouger ensemble : elle facilite donc la compréhension de systèmes complexes ainsi que l'apprentissage de la position d'éléments en relation avec l'espace.


Exemple : Dassault System

L'entreprise Dassault System propose une application pour comprendre la mécanique d'une aile d'avion. L'application plonge l'utilisateur à l'intérieur d'une aile d'avion, sans ce système, il faudrait à peu près deux semaines pour la démonter et la remonter avec plusieurs personnes. En utilisant les dessins originaux à partir du logiciel de conception CATIA, les apprenants peuvent explorer, monter et démonter une maquette d'avion virtuelle avant de se lancer sur un vrai modèle.

L'application permet une grande économie de temps et d'argent.


Entraînement au montage et démontage d'une maquette virtuelle d'un avion - Dassault System


Exemple : 3D Organon VR

3D Organon VR est une application destinée aux étudiants mais aussi aux professionnels pour apprendre l'anatomie. L'anatomie est parfois difficile à enseigner, l'utilisation ici de la réalité virtuelle permet de comprendre notamment les relations entre les structures anatomiques par une immersion en 3D.


Trailer de l'application 3D Organon VR

3. Des situations d'apprentissage

3.5. Simuler des situations

Le principe de simulation est également beaucoup exploité en matière d'application de réalité virtuelle et augmentée. La simulation de situations réelles en immersion permet de mettre des apprenants face à des situations qui imitent le réel. Il est possible de s'inspirer de vrais scénarios et donc de préparer l'apprenant à ce qu'il va devoir vivre en situation réelle.


Exemple : L'entreprise Fidelity

L'entreprise Fidelity (États-Unis) (Image 2) utilise la réalité augmentée pour entraîner ses employés : comprendre l'impact de l'écoute et de l'empathie dans un centre d'appel (hotline).

Image 2 - Illustration de l'entraînement des employés


3. Des situations d'apprentissage

3.6. Se mettre dans la peau de...

Exemple : L'exemple de We are Alfred, The University of New England's College of Osteopathic Medicine

C'est une application à destination des internes/externes, qui vise à mettre en avant le ressenti des personnes âgées au cours d'un diagnostic. Six simulations dans la peau d'Alfred, 78 ans sont proposées.

Cette application a plusieurs objectifs :

  • faire comprendre à des étudiants le point de vue de patient via l'empathie
  • améliorer la prise en charge psychologique des patients
  • visualiser une pratique professionnelle

Trailer We are Alfred - Embodied Labs


Exemple : Projet "AccesSim" : Simulateur de fauteuil roulant pour la sensibilisation et l'aide à la conception et à l'évaluation d'environnements accessibles

Projet "AccesSim" : Simulateur de fauteuil roulant pour la sensibilisation et l'aide à la conception et à l'évaluation d'environnements accessibles

Ce projet avait pour objet d'étudier et de mettre en place des moyens pour d'une part, sensibiliser le grand public et les décideurs, aux difficultés rencontrées par les personnes à mobilité réduite, dans leur quotidien. Et d'autre part, permettre à des centres experts d'aider à concevoir et évaluer des environnements accessibles. Il s'agissait de créer un prototype d'application métier permettant à des centres experts comme le CEREMH de travailler avec les cabinets d'architectes ou d'urbanistes afin de les assister dans la conception d'environnements accessibles, et à éventuellement les certifier.

Schéma 3 - Test du simulateur Accessim

La navigation réaliste en fauteuil roulant, dans les environnements 3D se fait par l'intermédiaire d'une plateforme à retour d'effort permettant d'accueillir tous les types de fauteuils roulants. Cela permettra de démontrer et d'étudier les cas où un environnement est accessible pour un certain type de fauteuil ou d'usager et en même temps inaccessible pour un autre type.

Le projet a été financé par la Région Ile de France. Il a été labélisé par les pôles Move'o, System@tic et Images et Réseaux. Les partenaires du projet étaient : EDF, Arts et Métiers Paristech, CEA, CEREMH, LISV.

Il a reçu l'Award Laval Virtual, catégorie Transport & Mobility, durant les rencontres internationales de la réalité virtuelle à Laval.

 
Présentation du simulateur - Accessim - Arts et Métiers Paristech


4. Économiser les ressources

Cliquez sur une icône pour accéder à son contenu.

4.1 Réduire les coûts

4.2 Économiser les ressources humaines


4. Économiser les ressources

4.1. Réduire les coûts

Exemple : L'exemple de Boeing

L'entreprise Boeing a pour objectif de proposer dans le futur des voyages touristiques dans l'espace. Elle propose ainsi aux astronautes de la station spatiale internationale des entraînements au sol. Une erreur de manipulation dans l'espace peut être fatale et coûter très cher. Boeing a donc créé un module (Image 3) pour entraîner les astronautes à l'amarrage de la capsule Starliner à la Station spatiale internationale, capsule qui sera destinée prochainement à transporter des passagers. Comme pour les autres domaines, les avantages sont nombreux : moindre coût, déplaçable et répétable à l'infini.


Image 3 - Amarrage de la capsule Starliner en réalité virtuelle - Boeing


4. Économiser les ressources

4.2. Économiser les ressources humaines

Exemple : L'exemple de VR4MED : le jeu pédagogique de la chambre des erreurs

La chambre des erreurs, est une épreuve classique dans les études des métiers de la santé. L'étudiant est placé dans une chambre fictive et doit repérer 10 erreurs.

En pratique, cette épreuve est toujours très compliquée à organiser et très longue : seulement un groupe d'étudiants peut la passer en même temps, la logistique est compliquée : elle prend beaucoup de temps. Dans le jeu, les étudiants peuvent s'entraîner, se déplacer, répéter des exercices appropriés à leur formation et cela en totale autonomie. Le jeu est accessible 7j/7 et 24/24h.


5. Évaluation

Cliquez sur une icône pour accéder à son contenu.

5.1. Introduction

  5.2. Traces d'apprentissage et indicateurs
 5.3. La virtualisation de la tâche  5.4. Conclusion


5. Évaluation

5.1. Introduction

Dans le cadre d'une formation, les interactions entre l'apprenant et le dispositif de formation, fournissent une grande quantité d'informations. L'exploitation de ces informations fournit des connaissances sur l'activité d'apprentissage.

Pour illustrer nos propos, nous prendrons l'exemple d'une formation à la conduite. Dans le cadre d'une tâche de conduite, il y a deux principaux acteurs :

  • Le conducteur (apprenant) qui doit s'adapter aux différentes situations de conduite en utilisant les organes de contrôle de la voiture. Il doit en particulier prendre les bonnes décisions face aux événements imprévus (klaxon, instructions, ...)

  • Le superviseur (formateur), en plus de donner des instructions, doit observer attentivement les situations de conduite et le comportement de l'apprenant afin de comprendre les décisions que ce dernier a prises. Cette compréhension est importante car elle permet au formateur d'évaluer au mieux l'apprenant.

Le formateur mesure donc l'activité de l'apprenant, en collectant et en analysant les traces d'activité de l'apprenant durant la tâche.


5. Évaluation

5.2. Traces d'apprentissage et indicateurs

Les traces ou la recherche de la vérité ...

«  Laisser des traces, pas des preuves, seules les traces peuvent faire rêver » René Char, Poète, (1907-1988) »


Définition

Une trace est un ensemble de marques observables dans l'environnement et liées à une activité. C'est comme dans une enquête policière où les indices (traces) nous aident à comprendre le déroulé des événements. Ces marques peuvent être laissées volontairement ou non et peuvent être considérées comme des « indices » d'activité.

Une trace informatique est une marque laissée dans l'environnement informatique et enregistrée par un processus informatique (associant ou non l'utilisateur). C'est par exemple, le cas lorsqu'on surfe sur des sites web, on laisse énormément de traces, exploitées par les sites commerciaux et les moteurs de recherche. Les traces informatiques peuvent être de différents types et peuvent être stockées sous différents formats (image, vidéo, texte, ...) :

  • Événements, actions, annotations, ... (ex : clic de souris)
  • Localisation dans le temps et l'espace

Remarque

Attention à ne pas confondre les traces et les indicateurs ! Les traces sont des données brutes, primaires, laissées par l'utilisateur durant son activité, alors que les indicateurs sont calculés à partir de ces traces élémentaires. Ces données sont des éléments concrets, contextualisés, observables et mesurables, reflétant l'activité de l'apprenant.


Exemple : Des exemples de traces et d'indicateurs

TRACES

INDICATEURS

Temps

Distance parcourue

Identifiants

Temps écoulé

Infos utilisateurs (nom, âge, pathologies, ...)

Pauses

Enregistrements audio/vidéo

Vitesse moyenne

Position et orientation de l'utilisateur (corps, mains, visage, yeux, ...)

Nombres d'arrêts

Position et orientation des éléments virtuels

Bonnes et/ou mauvaises actions

Actions en EV (sélection, manipulation, activation, ...) avec différents périphériques

Demande d'aide

Reconnaissance de comportements, d'émotions

Suivi du regard


Les traces doivent donc être transformées par différents moyens (schéma 1), pour faciliter leur visualisation et leur analyse . On parle de :

  • Filtrage, ex : Filtrage des mouvements des mains pour éliminer les mouvements parasites
  • Fusion, ex : Fusion des positions et des temps pour obtenir des vitesses
  • Structuration, ex : Structuration par type ou par thème pour améliorer l'analyse
Schéma 1 - Transformation des traces indicateurs


La visualisation et l'analyse des données

La visualisation et l'analyse des données peut ensuite se faire de différentes manières :

  • Analyse statistique classique
  • Analyse oculométrique : Les cartes de chaleur et les points de fixations, permettent d'avoir une idée de l'intérêt de l'apprenant pour son environnement.
  • Analyse de trajectoires : Elle permet par exemple de détecter des comportements atypiques.
  • Analyse physiologique : Elle utilise des capteurs biométriques pour déterminer l'état physiologique ou émotionnel de l'apprenant (ECG, EEG, ...).

Concernant l'activité de conduite automobile en environnement réel (ER), celle-ci est considérée comme une tâche :

  • Ouverte, car de nombreux événements imprévisibles peuvent survenir durant la tâche
  • Fortement dynamique, car nécessitant des temps de réaction très courts
  • Potentiellement dangereuse et de ce fait, pouvant générer de forte émotions (peur, stress, plaisir)
  • Complexe, de part le grand nombre d'informations que le conducteur doit traiter


Exemple

Parmi les traces collectées, il y a celles collectées au niveau de :

du véhicule

de l'environnement routier

du conducteur

Temps

Stop

Orientation du regard du conducteur

État de la pédale accélération

Croisement

Orientation de la tête de l'utilisateur

État de la pédale freinage

Céder le passage

Position des mains

État de la boite de vitesse

Rond point

Type d'éclairage

Ligne (continue, pointillée, ...)

Vitesse instantanée

Limites de vitesse

Orientation du volant

Position du véhicule


Ces traces peuvent être transformées pour obtenir des indicateurs tel que :


    
    
    
Durée de conduite

Vitesse moyenne

 Accélérations / Décélérations
 Freinage





Arrêts Changement de vitesse Changement de direction Changements de voie


Trajectoire globale Distance obstacles Gestuelle du conducteur Suivi du regard du conducteur


 Respect des distances    Respect des priorités   Comportement dangereux   Infractions au code de la route


Comme nous l'avons évoqué, l'activité de conduite est complexe et génère de nombreuses traces. Une partie de ces traces est mesurable objectivement (ex : vitesse instantanée) et d'autres sont issues de mesures subjectives (ex : comportement du conducteur), reposant uniquement sur l'observation du formateur.

Cette abondance d'informations peut rapidement submerger le formateur et l'amener à discriminer l'information et à en occulter une partie, entraînant une évaluation incomplète de l'activité de l'apprenant.


5. Évaluation

5.3. La virtualisation de la tâche

Pour palier à ce phénomène, une solution serait de virtualiser la tâche de conduite. Le schéma 2 ci-dessous, présente les interactions et les données qui entrent en jeu lors de la virtualisation d'une tâche.

Dans ce schéma 2, nous retrouvons les deux principaux acteurs d'une tâche de formation, l'apprenant et le formateur qui interagissent avec l'environnement virtuel, mais également entre eux.

Les traces concernant l'activité de l'apprenant sont collectées dans l'environnement virtuel, mais également dans le monde réel, par l'intermédiaire d'interfaces de d'interactions et de mesures. Certains indicateurs en sont déduits et le tout peut être retourné dans l'environnement virtuel, pour infos ou pour aider à la prise de décisions sous forme de critères d'évaluation. Ces indicateurs peuvent aussi être utilisés pour adapter la tâche aux capacités de l'apprenant, permettant ainsi de maintenir un état de flow. Les données peuvent également être stockées dans une base de données, pour une analyse à posteriori.

Les critères d'évaluation permettent d'analyser l'activité mesurée par rapport à une activité attendue, un barème ou une activité antécédente. Ces critères d'évaluation permettent ainsi de se forger un avis objectif sur la performance de l'apprenant et de prendre des décisions adéquates.


Schéma 2 - Virtualisation de la tâche


Dans le schéma 3, les interfaces d'interaction et de mesure de l'activité interviennent. En plus de permettre à l'apprenant d'interagir avec l'environnement virtuel, ces interfaces matérielles sont essentielles pour la collecte de traces issues du monde réel. Il existe toute sorte d'interfaces :

  • Des interfaces motrices pour agir dans l'environnement virtuel, mais également pour mesurer l'activité de l'apprenant.
  • Des interfaces sensorielles pour percevoir les effets de ses actions dans l'environnement virtuel.

Schéma 3 - Les interfaces d'interaction et la mesure de l'activité


Rappel

Il existe aujourd'hui de nombreuses interfaces d'interaction :

  • Interfaces classiques
  • Capture de mouvement
  • Haptique / Retour d'effort
  • Eyetracking / Oculométrie
  • Capteurs biométrique


5. Évaluation

5.4. Conclusion

Il y a de nombreux avantages à la virtualisation d'une tâche de formation, comme :

  • La ludification des tâches
  • Les mesures objectives (analysables informatiquement) : L'évaluation du comportement de l'apprenant qui reposait essentiellement sur les observations du formateur, peut maintenant être complété par des données objectives issues des interfaces de mesure
  • Les économies (humains, financiers) : La simulation de la tâche permet de réduire la charge de travail du formateur, il peut ainsi s'atteler à d'autres activités ou superviser plusieurs apprenants en même temps
  • La répétabilité de la tâche à l'identique : Contrairement au monde réel où les événements ne sont pas tous prévisibles, en environnement virtuel on peut répéter une tâche à l'identique en paramétrant tous les événements
  • Davantage de contrôle sur la tâche et sur l'environnement : La tâche étant simulée, il est plus facile des contrôler les éléments qui influent sur sa réalisation, tels que les obstacles, le niveau de difficulté, les aides logicielles ou les perturbateurs
  • La diminution de risques d'accident (réel) : Il y a moins de risques pour les acteurs de la tâche (apprenant, formateur, autres utilisateurs de la route), ainsi que l'environnement (aménagements urbains). L'apprenant pourra ainsi expérimenter des situations dangereuses, mais sans aucun risque réel.
  • La possibilité de rejouer complètement la tâche, car toute l'activité virtuelle et réelle de l'apprenant a été enregistrée
  • L'adaptation aux capacités des apprenants
  • La visualisation des phénomènes invisibles


Ces technologies sont en constante amélioration. Malgré leurs avantages certains, elles ont également des limites. Parmi les champs d'amélioration, on peut citer :

  • Le niveau de réalisme des environnements
  • Les techniques d'interaction (sélection, manipulation, déplacement, ...)
  • Les agents virtuels émotionnellement expressifs
  • Les avatars
  • L'intelligence artificielle
  • L'immersion mutli-sensorielle
  • La non-intrusivité des interfaces matérielles
  • Le cybersickness
  • Les problèmes hygiéniques liés au partage des visiocasques

Les éléments cités ci-dessus sont des limites technologiques, mais ce n'est que temporaire, car la technologie évolue très rapidement. On peut conclure en citant G. Burdea, l'un des pionniers de la réalité virtuelle, qui définit celle-ci par le triptyque : Immersion, Interaction et Imagination (schéma 4) : le terme "imagination" étant présent, car c'est la seule vraie limite de ce que l'on peut faire dans un environnement virtuel.


Schéma 4 - Le triptyque : Immersion, Interaction et Imagination d'après G.Burdea


6. Retours d'expérience d'enseignants à Arts et Métiers ParisTech

Cliquez sur une icône pour accéder à son contenu.

6.1 Cas d'usage en réalité virtuelle "transformation de mouvement en mécanique"

6.2 Cas d'usage en réalité augmentée "Compréhension d'un mécanisme électro-mécanique"


6. Retours d'expérience d'enseignants à Arts et Métiers Paristech

6.1. Cas d'usage en réalité virtuelle "transformation de mouvement en mécanique"

Cette expérimentation a été réalisée par un enseignant Rémy Eynard, sur le campus d'Angers d'Arts et Métiers ParisTech avec des étudiants de première année du cursus d'ingénieur.

Le premier objectif de cette expérimentation est d'analyser l'apport de l'application de transformation de mouvement sur le niveau de connaissance des étudiants à la fin de la séquence pédagogique traitant de ce même thème. Nous avons donc produit (réalisé) une comparaison entre deux populations homogènes constituées d'étudiants en première année du cursus ingénieurs Arts et Métiers, l'une s'est vue proposer l'utilisation de l'application au début de la séquence pédagogique, l'autre non. Le second objectif du travail est de récolter des données qualitatives sur l'expérience vécue par les sujets tant d'un point de vue purement expérientiel de la réalité virtuelle que d'un point de vue pédagogique sur l'apprentissage de la transformation de mouvement. L'objectif de cette démarche est double : faire évoluer l'application en fonction des retours des étudiants et ce toujours dans une logique de co-conception mise en avant dans le projet ACCENS, mais aussi de mettre en exergue les leviers menant à une meilleure expérience ainsi qu'a une meilleure pédagogie dans le contexte des enseignements à Arts et Métiers ParisTech.


Méthode : Présentation de l'application

L'application propose une initiation à la transformation de mouvement au travers de trois mécanismes simples et emblématiques, le système bielle-manivelle et le système vis-écrou. Cette application en réalité virtuelle tend à répondre à deux objectifs : permettre de familiariser l'utilisateur (étudiants) néophyte avec les modalités d'interaction de la réalité virtuelle et comprendre — par la manipulation — le fonctionnement des deux systèmes modélisés. Elle propose aux étudiants des exercices simples à résoudre par la manipulation des systèmes suivants.

  • Système bielle-manivelle de commande d'un piston : l'utilisateur à la possibilité de faire varier la taille des éléments du mécanisme (taille de bielle et taille de manivelle, la vitesse de rotation est constante). Par la variation de ces deux paramètres, il doit configurer le mécanisme pour donner au piston un débattement précis. L'utilisateur a en temps réel un retour sur les différents paramètres du système et sur l'implication de ses actions sur la modification de ces paramètres (courbes de vitesse, de déplacement et d'accélération du piston) (Image 4).

  • Système vis-écrou : l'utilisateur doit par le positionnement d'éléments de blocage (anneaux élastiques et clavettes) reproduire les schémas cinématiques proposés (quatre, suivant un ordre aléatoire), cet exercice lui permet de manipuler les objets dans l'espace et de comprendre les diverses configurations et possibilités d'un système vis-écrou.


Image 4 -  Interface de l'application de réalité virtuelle pour expliquer le système Bielle manivelle


Malgré l'apparente simplicité des exercices proposés, à la fin, le niveau de connaissance de l'utilisateur est évalué grâce à des questionnaires. Ces derniers sont conçus afin que l'étudiant ait besoin de revenir sur le modèle du système et de le manipuler à nouveau. Ce découpage de la séquence propose à l'étudiant un temps plus ludique de manipulation des éléments dans la réalité virtuelle (Image 5)— répondant ainsi à l'objectif de familiarisation avec les usages de la technologie — puis un temps de réflexion plus poussé sur le fonctionnement du système apportant ainsi les connaissances relatives à la matière étudiée.

Image 5 - Groupe d'étudiants en 1ère année pendant une séance de réalité virtuelle au campus d'Angers - Arts et Métiers ParisTech

Illustration du cas d'usage "Transformation de mouvement en mécanique" Campus d'Angers, Arts et Métiers ParisTech


Retours Enseignants / étudiants

Retour de l'enseignant

Voici le témoignage de Rémy Eynard, enseignant en technologies des réalités étendues et en conception mécanique:

« Le premier intérêt de l'application de transformation de mouvement dont nous avons parlé précédemment réside dans son processus de conception. En effet, les étudiants du master MTI 3D qui se sont vu confier sa conception ainsi que son développement ont fait face à plusieurs défis de taille et pertinents dans le cadre de leur formation. Tout d'abord de par la conception d'une application à visée pédagogique sur une matière telle que la cinématique des transformations de mouvement, plus abstraite que les formations que l'on a l'habitude de voir en réalité virtuelle. Le second défi qu'ils ont rencontré concerne nos exigences quant à la réalité des données affichées dans l'application. En effet, ces dernières ne sont pas pré calculées et ne sont donc pas piochées dans un tableau en fonction de la position de tel ou tel élément du mécanisme, mais bien calculées en temps réel vis-à-vis des données d'entrée du système. La complexité de l'application ne laissant que peu de place à l'approximation et devant répondre à des contraintes fortes a poussé les étudiants-concepteurs à adopter de bonnes pratiques au cours de leur développement, une compétence primordiale pour travailler en équipe sur ce type de projet. »

« Vis-à-vis de l'application, dont les objectifs sont d'offrir aux étudiants une initiation à la transformation de mouvement et de leur proposer une découverte des usages de la réalité virtuelle tout en conservant une vocation pédagogique. Le premier est finalement assez difficile à quantifier, poussé par la vision ingénieur de notre établissement, nous avons voulu faire trop bien, trop précis quant à la conception de l'application ; pour cette raison, elle est sans doute trop complexe pour avoir un apport pédagogique facile à déceler. À cela s'ajoute le contexte de l'immersion dans l'application, les étudiants ont suivi la séquence pédagogique « traditionnelle » après la séance de réalité virtuelle, cette dernière étant elle-même faite pour faciliter la compréhension des étudiants, une différence par rapport au semestre précédent est difficilement décelable. Il est donc évident que nous avons une réflexion à mener sur le niveau d'information à fournir au travers de nos futures applications à visée pédagogique, mais aussi sur la manière dont nous les intégrons dans notre enseignement, je rappelle que cette application est une première sur notre campus. Vis-à-vis du second point évoqué, la découverte des usages de la RV, l'objectif est ici évidemment pleinement rempli. Nos étudiants ont non seulement pris beaucoup de plaisir à l'utilisation de l'application, mais ont aussi su s'adapter très facilement aux modalités d'interaction avec la réalité virtuelle. Pour conclure, ayant suivi l'application de sa conception à son utilisation (et aujourd'hui son amélioration) je dirais que cette première tentative est très encourageante, les étudiants d'aujourd'hui, technophiles de naissance, ont une appétence forte pour les technologies du virtuel. L'utilisation à venir de nos équipements que soit en pédagogie « directe » ou au travers de projet mené par les étudiants donnera — j'en suis certain — des résultats très positifs et inspirants pour la suite de nos travaux en pédagogie. »


Retours étudiants

Du côté étudiant, l'activité a été très appréciée, voici quelques témoignages anonymes d'étudiants :

« L'expérience permet plus de découvrir la réalité virtuelle que de réellement apprendre des choses sur les systèmes présentés. Néanmoins, il est intéressant de pouvoir voir les choses devant soi et de les manipuler avec une interface différente de celle de la conception assistée par ordinateur. »

« Globalement, le design de l'interface et sa mobilité sont vraiment sympa à utiliser. Ça a été une découverte et une très bonne expérience :-). »

6. Retours d'expérience d'enseignants à Arts et Métiers Paristech

6.2. Cas d'usage en réalité augmentée "Compréhension d'un mécanisme électro-mécanique"

Cette expérimentation a été réalisée par des enseignants Dominique Scaravetti et Dominique Doroszewski, sur le campus de Bordeaux d'Arts et Métiers ParisTech avec des groupes d'étudiants élèves des cursus ingénieur et de bachelor de technologie.

Les représentations virtuelles sont assez largement utilisées dans l'enseignement supérieur, pour visualiser un modèle de conception ou une simulation. Malgré tout, beaucoup d'étudiants ont des difficultés à appréhender des systèmes mécaniques, à partir d'un plan 2D ou une définition conception assistée par ordinateur (CAO) 3D. C'est pourquoi nous mettons en place des manipulations de systèmes réels, associées avec diverses représentations, particulièrement pour les étudiants n'ayant pas de pré-requis technologiques. La réalité augmentée apporte une réponse à la difficulté de faire le lien entre une représentation et le système réel.

Un scénario de réalité augmentée a été mis en œuvre sur un mécanisme électro-mécanique. Il permet d'identifier des composants et leurs emplacements, d'explorer le mécanisme et ainsi identifier plus facilement la chaîne cinématique, ou des flux de transmission de la puissance par exemple. Deux interfaces différentes ont été utilisées par les apprenants (tablettes et lunettes).

Cette première expérience a été menée avec des groupes d'élèves ingénieurs, ainsi que des étudiants en Bachelor de technologie. Sur des travaux pratiques d'analyse de mécanisme, la moitié de l'effectif a utilisé la réalité augmentée, tandis que les autres ne disposaient que des supports habituels. A la fin de la séance, une évaluation de la compréhension du système a été menée 'à chaud' et montre des améliorations de compréhension pour les utilisateurs de la réalité augmentée.


Méthode

Nous avons souhaité enrichir une séance de travaux pratiques de découverte et d'analyse de mécanisme sur un vérin électrique d'ouverture de portail.

Les différentes étapes de création du scénario pédagogique ont été :

  • Import de la maquette CAO et création du contenu du scénario de réalité augmentée
  • Paramétrage du tracking, puis création du projet de réalité augmentée (schéma 5) et transfert vers la tablette ou les lunettes.
  • Usage en formation, analyse et correction du scénario

Deux groupes de participants ont été impliqués dans l'expérience, réalisée en début d'année universitaire :

  • 36 étudiants en Bachelor de Technologie (2e année),
  • 74 étudiants en formation d'ingénieur Arts et Métiers (1e année), dans le cadre de la remise à niveau en conception mécanique.

Dans les deux cas, il s'agissait d'étudiants ayant peu ou pas de compétences en conception mécanique et en analyse de mécanismes.

Les étudiants réalisent en petits groupe (3-4) un travail pratique de 3h sur un vérin électrique. Ils disposent d'un plan papier, d'une CAO, d'un questionnaire guide et du système réel (fonctionnel et en pièces détachées). Pour chacune de ces populations, la moitié de ces étudiants seulement avait accès au dispositif de réalité augmentée sur tablette et/ou sur lunettes HoloLens.

Les étudiants sont laissés libres de traiter les questions et d'appréhender le mécanisme à leur rythme ; l'enseignant est juste présent pour répondre aux éventuelles questions. A la fin de la séance, il est demandé à tous les élèves de remplir un rapide questionnaire individuel de compréhension, en précisant qu'il ne s'agit pas d'une évaluation notée.

Ainsi, il apparaît qu’en moyenne les étudiants ayant eu accès à la réalité augmentée ont obtenu des notes de 22,6% supérieures aux étudiants ayant travaillé avec de la documentation classique.

Au-delà de la compréhension du système, c’est également les impressions ainsi que les remarques des utilisateurs des outils de réalité augmentée qui ont été recueillies. La satisfaction globale des sujets vis-à-vis de la technologie est de 93,3%, ils sont 84 ,4% à la trouver utile et 91,1% à considérer qu’elle permet de gagner du temps. 73,3% estiment que par rapport à l'utilisation du plan papier, l'utilisation de la RA a permis de mieux percevoir l'emplacement des pièces. 


Schéma 5 - Aperçu du scénario dans le cas du TP d'analyse du vérin électrique (3DVIaComposer)

 
 
Illustration du cas d'usage "Compréhension d'un mécanisme électro-mécanique" Campus de Bordeaux, Arts et Métiers ParisTech


Retour de l'enseignant

Voici les témoignages des enseignants Dominique Scaravetti et Dominique Doroszewski, Arts et Metiers Paristech, campus de Bordeaux :

« Avec l'utilisation de la réalité augmentée, les apprenants sont placés en position d'apprentissage par l'action. Cette modalité pédagogique rend l'apprenant actif, afin qu'il construise ses savoirs au cours de mise en situation.Nous avons constaté un vif intérêt à l'utilisation de la réalité augmentée. Son aspect ludique stimule l'intérêt des étudiants à s'investir dans leurs apprentissages, mais ils doivent aller au-delà du simple jeu pour emmagasiner des connaissances, car nous avons également constaté que l'aspect ludique peut être au détriment des apprentissages: on joue avec le système sans percevoir les informations utiles à l'exercice.Une autre source d'implication de l'apprenant est l'autonomie. Et c'est dans cette perspective que la réalité augmentée a également un intérêt. Ainsi, l'apprenant avance à son rythme et dispose de différentes informations pour l'aider à appréhender le système et son fonctionnement : nom et emplacement des pièces, couleurs des ensembles cinématiques, explications (texte ou audio à chaque vue), animation ou éclatés en contexte. Il peut revenir sur une vue précédente si besoin. La réalité augmentée lève la difficulté d'accès à l'information (sur une notice papier) ou la difficulté à percevoir en 3D »

« Nous allons poursuivre avec d'autres supports pédagogiques, pour tester l'aide à la compréhension de mécanisme complexes. Les usages des dispositifs numériques industriels vont requérir de nouvelles compétences spécifiques pour les nouveaux acteurs de l'industrie 4.0. Ici, la réalité augmentée est utilisée comme nouveau moyen support à la pédagogie, mais cette expérience sert également à initier les étudiants à une technologie pertinente pour l'industrie du futur, pour leur permettre d'en mesurer le potentiel, et de devenir des utilisateurs avisés ou des prescripteurs. »


Pour plus d'informations, consultez l'article suivant :  SCARAVETTI Dominique, DOROSZEWSKI Dominique. "Augmented Reality experiment in higher education, for complex system appropriation in mechanical design", Procedia CIRP, pp 197-202, Volume 84, Elsevier, 2019