Synthèse sur les outils et techniques en Réalité Augmentée sur matériel mobile

Depuis le mois de Novembre, nous avons mené une veille technologique ayant pour thème la Réalité Augmentée sur terminaux mobiles.

Les périphériques mobiles tendent à devenir les principaux supports de la RA. Ce phénomène est dû aux performances de ces multiples terminaux :

  • Qu’il s’agisse d’appareils existants : Tablettes, smartphones
  • Ou en cours d’élaboration : Lunettes Google, Ondes cérébrales

En effet, pour fonctionner la RA utilise les technologies suivantes : les marqueurs, la géolocalisation et la reconnaissance de forme.

Les applications mobiles de RA sont de plus en plus nombreuses. D’autant plus nombreuses qu’un certain nombre de frameworks sont aujourd’hui à disposition de tous pour mettre en oeuvre la RA. Ces applications touchent principalement les domaines suivants :

  • Pour le grand public : localisation d’éléments en ville, jeux vidéos, immobilier, shopping
  • Pour les professionnels : formation, assistance

Cependant, nous avons pu noter que les applications marketing et ludiques sont aujourd’hui les plus répandues.

 Peut-être manque-t-il quelque chose à la RA pour qu’elle soit adoptée par tous les secteurs d’activité ? Nous avons en effet relevé trois limites majeures liées à la mobilité :

  • Précision des données issues du GPS et de la caméra
  • Performance des calculateurs
  • Problèmes de reflets et occlusions lors d’une utilisation en extérieur

La priorité aujourd’hui consisterait donc en la correction de ces défauts. Pourront alors voir le jour des applications plus poussées de la RA, comme son intégration aux réseaux sociaux. Cela nous conduira vers une réelle intégration de cette technologie à nos quotidiens.

Notre rapport final suivra le plan suivant :

I. Fonctionnement de la Réalité Augmentée
1.1. Différents supports mobiles (existants et futurs)
1.2. Technologies utilisées (existantes et futures)
1.3. Mise en oeuvre

II. Limites de la Réalité Augmentée
2.1. Limites techniques
2.2. Satisfaction / Acceptation des utilisateurs

III. Applications mobiles de Réalité Augmentée
3.1. Pour le grand public
3.2. Pour les professionnels
3.3. Applications futures

 

Cet article est mis à disposition selon les termes de la Licence Creative Commons Attribution – Pas d’Utilisation Commerciale – Partage dans les Mêmes Conditions 3.0 France.

Le futur de la Réalité Augmentée

Que va-t-il advenir de la RA ? Va-t-elle envahir nos quotidiens ? Quelles sont ses perspectives d’évolution ? Telles sont les questions auxquelles nous tâcherons de répondre aujourd’hui.

Evolution des supports

Il n’est pas commode de tenir un smartphone ou une tablette à bout de bras pour agrémenter son environnement d’informations digitales. Passer dix minutes à positionner une caméra au-dessus d’un marqueur n’est pas pratique non plus. C’est pourquoi on imagine d’ores et déjà de nouveaux terminaux qui se feront oublier par l’utilisateur et lui permettront de profiter pleinement de la RA. Ces appareils plus immersifs et moins encombrants pourraient bien être les suivants :

  • Les lunettes 3D

Nous les avons déjà évoquées : il s’agit d’un projet développé par Google. Ces lunettes, munies d’un GPS, d’une connexion, d’une caméra et d’un petit écran pourront afficher des informations contextuelles en RA. Des exemplaires devraient être disponibles en 2013 (très prochainement !). Ceux-ci seront dans un premier temps destinés aux développeurs uniquement et vaudront 1500$ pièce. Mais que doit-on attendre de ces lunettes ? Vous trouverez ici une caricature fort sympathique.

  • Ondes cérébrales couplées à la RA

Nous n’en sommes qu’aux prémices des interfaces cérébrales. Mais une fois celles-ci efficaces, elle se verront certainement combinées à la RA. Imaginez : un architecte regarde un espace vide, il y imagine une construction, le plan de celle-ci est conçu au fur et à mesure de sa réflexion.

  • Des lentilles 3D

Le court-métrage “Sight” présente ce que pourrait être la RA du futur. Ici, il n’est pas question de lunettes mais de lentilles de contact. Celles-ci, équipées d’un micro-processeur assistent leur utilisateur dans ses activités quotidiennes : rendez-vous galant, préparation d’un plat, etc. Tel Edward dans Twilight, ce dispositif est aussi inquiétant que séduisant. Doit-on se préparer à l’intégrer à notre quotidien?

Cette invention des laboratoires du MIT date déjà de 2009. Elle n’en demeure pas moins proche de l’idée qu’on se fait du futur. En effet, lors d’une conférence TED, un parallèle a été fait entre ce prototype et l’interface manipulée par Tom Cruise dans Minority Report. Cette interface gestuelle portable (tel un vêtement) complète notre environnement avec des informations digitales manipulables grâce à des gestes naturels.

Evolution des usages

Aujourd’hui, les multinationales font preuve d’un fort engouement pour la RA. C’est pourquoi la plupart des applications mobiles de RA sont destinées à servir la société de consommation. Mais cet enthousiasme présente tout de même des effets positifs : il a permis de mettre en lumière la technologie de la RA, technologie qui présente aujourd’hui certaines défaillances. Lorsque le manque de précision, de performance et la complexité d’utilisation de la RA auront été corrigés, quels usages de la RA pourraient voir le jour ? Il pourrait s’agir des suivants :

  • Vie sociale
Réalité Augmentée et Réseaux Sociaux

Source : http://www.behance.net/gallery/Augmented-Reality-project/500265

Couplée avec la reconnaissance faciale et d’objets, l’association de la RA et des réseaux sociaux va bientôt nous permettre d’obtenir des informations sur les personnes qui nous entourent. En plaçant notre smartphone devant le visage d’une personne (connue ou inconnue) nous pourrons alors accéder à des données issues de ses profils sur différents réseaux.

  • Segmentation

La RA permet de diffuser une information ciblée, dans les supermarchés notamment. Imaginez : un client entre dans un magasin. Il dispose d’une application de RA développée par l’enseigne. Cette application, lorsqu’elle est pointée sur les articles, affiche alors des réductions et/ou offres ciblées.  En effet, auparavant, le client a fait des achats qui lui ont donné le droit d’en bénéficier.

  • La RA en ville

Comme nous avons pu le montrer, de nombreuses applications de la RA sont liées au tourisme ou au déplacement en ville.
On peut aisément imaginer que ces applications vont se développer et devenir la norme.
Malgré l’aspect plus personnel des guides touristiques, va-t-on assister à leur disparition au profit d’éléments augmentés ?
La même question se pose pour les plaques historiques en ville, on pourrait aisément remettre en cause leur authenticité.

La RA va certainement envahir nos terminaux numériques dans les années à venir, particulièrement nos mobiles.
Son développement est directement lié à la généralisation des smartphones. Mais pour tirer pleinement parti de la RA, ces terminaux vont devoir pallier aux limites techniques qui brident l’innovation dans la conception de nouvelles applications.

Cet article est mis à disposition selon les termes de la Licence Creative Commons Attribution – Pas d’Utilisation Commerciale – Partage dans les Mêmes Conditions 3.0 France.

Réalité Augmentée : des applications mobiles orientées métier

Dans notre précédent article, nous vous avons déjà présenté certaines applications marketing de la Réalité Augmentée. Ces dernières, tirant parti du mobile en tant que canal relationnel, ont pour objectif de pousser l’utilisateur à l’acte d’achat ou d’acquérir de nouveaux clients. Mais cette technologie peut aussi être utilisée à des fins professionnelles autres que commerciales.

Cela fait déjà quelques années que les entreprises étudient la façon dont elles peuvent tirer profit de la RA dans leurs applications métier. En 2007, BMW travaillait sur la possibilité de développer pour son département Services une application d’aide opérationnelle aux équipes techniques. Celle-ci, fonctionnant sur des lunettes de Réalité Augmentée, plaque sur le moteur des animations d’aide à la réparation ou à la maintenance.

L'application de RA de BMW. Source : http://www.gizmodo.com.au/

Aujourd’hui, le mobile peut être considéré comme une extension du système d’information de l’entreprise. En situation de nomadisme, il permet des échanges de flux et de services entre employés, partenaires, clients, etc. SAP l’a parfaitement compris et a donc développé une application pour iPad et iPhone de Business Intelligence en Réalité Augmentée. Ce prototype développé en 2010 permet d’utiliser la caméra d’un smartphone ou d’une tablette pour afficher en temps réel des informations sur les clients et fournisseurs qui se trouvent à proximité.

L'application de BI en RA par SAP

L'application de BI en RA par SAP (image de Timo Elliott). Source : http://timoelliott.com/

Les projets présentés semblent en être restés au stade de prototypes. Mais des exemples plus aboutis d’utilisation de la RA en milieu professionnel existent : ceux du BTP notamment. Nous avons déjà parlé de la RA comme outil d’aide à la vente de projets immobiliers. La RA constitue en effet un bel outil de modélisation et de visualisation pour les acteurs de la construction. Yohann et Rémi ont récemment présenté l’application de balade urbaine en RA pour la future ZAC de La Courrouze à Rennes. Le dossier de presse de ce projet met en avant des utilisations intéressantes de la Réalité Augmentée pour des projets urbains. Cette technologie permet en effet de concevoir :

  • Des outils d’aide à la décision : on peut visualiser l’impact d’un projet dans son milieu et ainsi faciliter les prises de décision pour les urbanistes et toutes les parties prenantes du projet.
  • Des outils d’aide à la communication : pour favoriser l’acceptation d’un projet par le grand public, on lui permet de se rendre compte des modifications engendrées par un projet dans son environnement.
  • Des outils d’aide à la vente : nous en avions déjà parlé, permettre aux potentiels acheteurs de faire une visite virtuelle d’un bien aide les agences immobilières à conclure des ventes.
  • Des outils de conservation du patrimoine : la RA permet de replacer sur site des bâtiments aujourd’hui disparus.

Les acteurs de la construction ont donc su s’approprier la RA pour en tirer profit.

Certains domaines d’activité ont ou vont profondément changer grâce à la RA. C’est le cas du secteur médical. L’application Camdass (Computer Assisted Medical Diagnosis and Surgery System) bien qu’il s’agisse encore d’un prototype, présage une petite révolution dans les salles de consultation et les blocs opératoires. Cette application, développée par l’agence spatiale européenne, permet à une personne équipée de lunette de Réalité Augmentée d’être guidée pour se servir d’un échographe. Elle suit alors un tracé virtuel sur le patient. Cette application pourrait s’avérer utile pour diagnostiquer des malades lors d’expéditions spatiales.

Il ne faut pas se leurrer, de nos jours, la RA est surtout utilisée comme un outil publicitaire ou comme la technologie tendance à utiliser dans les jeux vidéos. Pour que l’utilisation de la RA ne se cantonne pas au marketing et à la communication, il revient donc aux professionnels de s’approprier cette technologie, de se questionner sur ce qu’elle peut leur apporter.

Petit aparté : le week-end du 8 au 10 février aura lieu le City Game au Stéréolux (Nantes). Un week-end au cours duquel des passionnés, professionnels ou amateurs travailleront sur la création des jeux vidéos de demain. Le défi est de réaliser un jeu multijoueur adapté aux espaces publics de l’Île de Nantes. Des utilisations de la RA sont à prévoir…

La RA sur mobile pour le grand public

Après avoir introduit le concept de RA puis présenté les différentes technologies qui permettent de la mettre en œuvre, nous avons abordé les limites de son application sur terminaux mobiles. Force est de constater qu’il existe un fossé entre ce que l’on souhaite pouvoir accomplir en RA sur mobile et ce qui est réalisable.

Dans cet article, nous allons faire le tour des différentes applications de Réalité Augmentée téléchargeables sur les stores (App Store, Google Play et autres). La Réalité Augmentée n’est plus réservée aux chercheurs et métiers de pointe. La banalisation des smartphones et tablettes fait qu’elle envahit notre quotidien. De nombreux domaines sont concernés, nous allons aujourd’hui vous présenter les principaux :

  • Localisation

De nombreuses applications utilisent le principe de la Réalité Augmentée afin de plaquer des informations utiles sur le monde réel.

On peut citer l’application Métro Paris, très connue des parisiens (démonstration dans cet article rédigé par Rémi et Yohann) et son homologue londonienne : Nearest Tube. Celles-ci permettent à l’utilisateur de localiser les stations de métro qui l’entourent pour faciliter son déplacement dans la ville. Des informations concernant certains restaurants, cafés et bien d’autres commerces sont aussi disponibles. Ce type d’applications présente un réel intérêt pour le tourisme.

La Réalité Augmentée permet aussi au GPS classique de prendre une dimension supplémentaire. L’application japonaise MapFan eye permet de guider l’utilisateur par la visualisation de l’itinéraire sur son monde réel. L’utilisation de la carte avec la vérification du nom des rues devient obsolète. Sortie il y a à peine un mois, cette application confirme la croissance des possibilités laissées par la Réalité Augmentée et les mobiles actuels.

Localiser ma voiture est une application plus ciblée permettant, comme son nom l’indique, de localiser une voiture garée. Les techniques de plaquage d’objet sont les mêmes que celles utilisées par les applications présentées plus haut.

  • Jeux vidéos

De nombreuses applications de Réalité Augmentée ont pour simple but de divertir. Les jeux en extérieur se basant sur la Réalité Augmentée vont exploiter au maximum les possibilités offertes par les terminaux mobiles. L’application vient alors plaquer les éléments du jeu sur le monde réel sans aucune contrainte supplémentaire pour l’utilisateur.
Le jeu Star Wars en Réalité Augmentée permet de déplacer l’attaque, qui auparavant avait lieu dans un monde virtuel. Maintenant c’est directement votre ville que vous allez devoir secourir.
On peut encore citer l’exemple de AR.Defender, qui vous permettra de lutter contre des envahisseurs apparaissant dans votre environnement comme votre bureau ou votre cuisine.

  • Immobilier

La Réalité Augmentée est également utilisée dans le domaine de l’immobilier. D’une part, elle permet de promouvoir un bien. Ainsi, des applications de Réalité Augmentée sont développées pour que les acheteurs potentiels puissent visualiser des projets immobiliers sur site. En 2010, le plus gros promoteur immobilier brésilien, Rossi Residencial avait déjà proposé une telle application. Un marquage sur la zone à construire permettait alors d’y observer les futurs bâtiments.

D’autre part, la RA peut constituer une aide dans la recherche de logement. MeilleurAgents est une une application iPhone pour visualiser les prix de l’immobilier sur mobile, sur une carte ou à travers la caméra. En se déplaçant dans les rues parisiennes, l’utilisateur peut obtenir les dernières estimations du prix du m2 plaquées sur les bâtiments. D’autres applications comme GeoImmo permettent de visualiser l’ensemble des appartements disponibles qui nous entourent.

La RA apparaît comme une technologie essentielle dans le futur de l’immobilier et de l’architecture. Le groupe immobilier FDI s’est d’ailleurs fait remarqué grâce à une belle performance au salon de l’immobilier 2012.

  • Shopping

L’immobilier n’est pas le seul secteur qui pourrait être révolutionné par la RA sur mobiles, le commerce électronique pourrait également subir de profondes mutations.

Concernant la grande distribution, il est prévu que des supermarchés virtuels en RA voient le jour, en Chine notamment. Cela fait partie des projets de Yihaodian, le plus gros site de e-commerce alimentaire chinois qui prévoit d’ouvrir plusieurs supermarchés en Réalité Augmentée à travers le pays. Ceux-ci seront positionnés sur des lieux non occupés par des constructions. Là où un visiteur lambda ne verra qu’un parc ou un campus, une personne munie d’un smartphone pourra, grâce à la RA, se balader dans un magasin virtuel et remplir son “panier” avec des produits alimentaires également virtuels. Tesco avait déjà fait un carton avec son supermarché virtuel basé sur les QR codes. Les chaînes alimentaires vont-elles tout miser sur la Réalité Augmentée ? Pour plus d’informations, vous pouvez lire cet article du Huffington Post.

Par ailleurs, l’impossibilité d’essayer avant d’acheter constitue un des derniers freins à l’achat en ligne. Mais ce temps sera bientôt révolu grâce à la RA. Ikea, par exemple, a développé une application qui permet de vérifier ce que donne un meuble dans son intérieur avant de l’acheter. Le prêt à porter aussi s’est mis à cette technologie. L’essayage virtuel a bien évolué depuis ces débuts : la 3D, la webcam et maintenant la réalité augmentée. On se rappelle d’ailleurs du site d’Atol qui nous permettait d’essayer les lunettes d’Adriana Karembeu.

  • Marketing

Aujourd’hui, les grandes marques utilisent largement la RA pour faire leur promotion. Aussi étrange que cela puisse paraître, il est possible de mettre en avant un produit en ne le faisant apparaître nulle part. C’est le défi qui a été relevé par Audi avec la campagne “Audi First Calendar without car”.
A l’inverse, voici une application permettant de masquer les produits d’une marque donnée grâce à une application en RA.

Source: http://www.moosejaw.com/

Nous vous avons présenté plusieurs domaines d’applications de la RA. Mais cette liste n’est pas exhaustive. Nous allons en effet conclure sur un dernier exemple : l’assistance à la conduite. Cet exemple permet de remettre en cause l’utilité de la RA dans certains domaines. En effet, cette application s’avère plus dangereuse qu’efficace.

Licence Creative Commons
Cet article est mis à disposition selon les termes de la Licence Creative Commons Attribution – Pas d’Utilisation Commerciale – Partage dans les Mêmes Conditions 3.0 France.

Réalité augmentée : des limitations liées à la mobilité

La mobilité permet une mise en oeuvre intéressante de la Réalité Augmentée. Les applications de RA sur terminaux mobiles se démultiplient. Cependant, ces appareils présentent certaines limites techniques qui, si elles ne sont pas prises en compte en amont, peuvent considérablement diminuer le potentiel de la RA.

Nous pouvons distinguer différents types de limites :

Précision des données

  • Les données de localisation

Les applications de Réalité Augmentée nécessitent généralement une précision inférieure au mètre. Mais, le GPS ne peut pas fournir de données aussi précises. En effet, il s’agit de la version grand public d’un outil du département de la défense des États-Unis. Les capacités de ce système sont réduites par peur de mettre certaines informations à la portée de tous. Une application fonctionnant grâce aux données GPS est donc susceptible de plaquer un modèle à quelques mètres de sa position supposée. Lorsqu’il s’agit d’un bâtiment par exemple, cette différence peut s’avérer gênante.
Pour plus de “précision”, vous pouvez écouter cette émission de France Info.

  • La qualité des caméras

La qualité des caméras qui équipent les appareils mobiles est loin d’être idéale. Même si celle-ci est suffisante pour certaines utilisations, il faut faire attention à la donnée traitée. Il y a une différence certaine entre ce que la caméra filme, ce que l’utilisateur visionne et ce qui est enregistré.
De plus, ces caméras détectent mal un environnement sombre : les modèles peuvent alors être plaqués sur un monde “vide” ou ne pas être affichés du tout.

Performances limitées

  • Les performances de calcul

Rappelons tout d’abord que l’un des critères fondamentaux de la RA énoncés par Ronald Azuma est l’interaction en temps réel entre l’utilisateur et son milieu.
Les applications de RA demandent souvent des calculs importants, relancés fréquemment. Les modèles plaqués sur le monde réel sont parfois très lourds. Prenons l’exemple de Brocéliande, l’application de tourisme ludique présentée par Rémi et Yohann : les personnages affichés sont complexes et le système doit recalculer leur position à chaque mouvement de l’utilisateur. Cette lenteur de calcul est vraie pour les algorithmes utilisant la position GPS, mais devient critique pour les algorithmes à reconnaissances de formes. En effet, le système doit constamment recalculer la position de la forme.

  • La mémoire disponible

La mémoire dont disposent les terminaux mobiles est relativement faible comparée aux terminaux fixes. Une application de RA doit donc gérer des données qui nécessitent peu de mémoire. Si on souhaite plaquer un bâtiment complexe (on peut par exemple penser au Château des ducs de Bretagne à Nantes) et texturé au plus proche de la réalité, ce modèle occupera beaucoup de mémoire. Hors, les plates-formes mobiles ne sont pas conçues pour manipuler des données aussi lourdes.

Affichage de l’univers en RA

  • Utilisation en extérieur

Les tablettes et mobiles actuels, objets devenus courants, sont la cible principale des application de RA mobile. Mais, l’affichage sur leurs écrans pose quelques problèmes. Ces écrans, par leur taille réduite, peuvent faire perdre de l’intérêt à une application de RA. Mais ils ne sont surtout pas adaptés à une utilisation en extérieure. Lorsque la luminosité est trop importante, l’image ne sera pas correctement visible par l’utilisateur.
La preuve en images vers 0:30 dans cette publicité pour SodaStream.

  • Gestion des occlusions

Pour une incrustation réaliste d’un modèle dans le monde réel, il faut prendre en compte les interactions entre éléments réels et virtuels. Les parties occultées du modèle virtuel doivent être identifiées. Malheureusement, cette identification est manuelle dans la plupart des cas. Les laboratoires travaillent actuellement sur des méthodes plus automatiques : celles-ci passent notamment par la détermination de la profondeur des objets. Dans cette vidéo, nous pouvons observer le résultat de l’utilisation du capteur de profondeur de la caméra Kinect :

Occlusion detection and virtual object manipulation in Augmented Reality with the Microsoft Kinect

Altération de l’environnement

Les algorithmes basés sur l’utilisation de marqueurs nécessitent une préparation préalable de l’environnement dans lequel pourra être utilisée l’application de RA. Ces marqueurs altèrent le monde réel afin d’y ajouter des données de RA. Le but de la RA n’étant pas d’altérer mais d’enrichir le monde réel, on peut s’interroger sur la pertinence de tels algorithmes.

Nous conclurons sur un des inconvénients majeurs des applications mobiles de RA : la nécessité d’être connecté en permanence. En effet, sans connexion, il est impossible de récupérer des données GPS ou d’identifier un marqueur. Mais cette connexion peut être considérée comme une condition nécessaire à la RA plutôt que comme un inconvénient. De même, l’appareil doit être équipé d’une caméra, de calculateurs, d’un écran … Quoique ? Le projet de lunettes à Réalité Augmentée de Google annonce l’arrivée d’un nouveau type d’applications mobiles de RA.

Auteurs : Claire Mayer et Aurore Le Moigne

Licence Creative Commons

Cet article est mis à disposition selon les termes de la Licence Creative Commons Attribution – Partage dans les Mêmes Conditions 3.0 non transposé.

La Réalité Augmenté sur appareils mobiles : Comment ça marche ?

Selon le cabinet d’études ABI Research, le marché des applications mobiles de Réalité Augmentée devrait représenter 3 milliards de dollars en 2016 contre 21 millions en 2010. Les terminaux mobiles sont donc enclins à devenir les principaux supports de cette technologie. Quelles sont les raisons de ce succès ? Les appareils mobiles sont aujourd’hui dotés des fonctionnalités nécessaires à la mise en oeuvre de la RA : caméras, GPS, accéléromètres, écrans et processeurs performants.
Il est difficile de placer des éléments virtuels dans un environnement réel tout en conservant position et orientation. Nous parlons pourtant de Réalité Augmentée : le système doit donc être capable de faire coexister le monde réel avec des éléments virtuels. Il existe actuellement plusieurs solutions :
  • L’ajout de marqueurs
La première solution consiste à ajouter des marqueurs dans la scène réelle. Les marqueurs sont des formes simples, généralement des carrés noirs comportant des éléments blancs. Grâce à un algorithme de traitement de l’image, le système détecte le marqueur puis calcule sa position et son orientation par rapport à la caméra. Après avoir identifié le marqueur, l’appareil peut enfin afficher le modèle correspondant.

Schéma explicatif de l’algorithme de RA avec marqueurs utilisé par ARToolKit (Source).

Schéma explicatif de l’algorithme de RA avec marqueurs utilisé par ARToolKit

Une belle illustration de l’utilisation de marqueurs est la campagne réalisée sur les paquets de céréales Nestlé pour la sortie du film Kung Fu Panda 2 en 2010.
Mais l’objectif actuel est de pouvoir se passer de ces marqueurs. C’est pourquoi les laboratoires travaillent sur d’autres solutions de RA, notamment la reconnaissance de formes.
  • Géolocalisation
Les éléments sont positionnés grâce aux informations de localisation réelles récupérées par l’appareil : la localisation dans l’espace fournie par le GPS, et l’orientation de l’utilisateur par rapport à son environnement fournie par la boussole. La combinaison de ces données permet au système de plaquer l’élément virtuel sur la scène réelle.
  • Reconnaissance de forme
La reconnaissance de forme est basée sur des algorithmes de traitement de l’image complexes. Elle consiste à mémoriser une forme (une main ou un visage par exemple) , puis à la reconnaître grâce à une caméra. Le système peut alors déterminer la position et l’orientation de la forme reconnue pour enfin afficher l’élément virtuel.

Exemple d’utilisation de la reconnaissance de forme : le projet Handy AR

Exemple d’utilisation de la reconnaissance de forme : le projet Handy AR).

Des outils pour les développeurs

On assiste aujourd’hui a une forte volonté de la recherche de faire évoluer la Réalité Augmentée. C’est pourquoi bon nombre de laboratoires et d’entreprises n’hésitent pas à partager le fruit de leur travail, généralement sous la forme de kits de développement (ou SDK, Software Development Kits) permettant aux utilisateurs de créer des applications de réalité augmentée. Ces kits proposent un ensemble de fonctions que le développeur pourra arranger selon ses besoins.
Nous pouvons citer, par exemple la librairie ARToolkit, développé par le HITLab de l’université de Washington. La première version a été publiée en 1999 et supporte aujourd’hui la majorité des systèmes d’exploitation mobiles : Sybian, iOS (pour iPhone), Androîd et les systèmes d’exploitation mobiles Windows.
Cette librairie permet de plaquer des éléments virtuels en utilisant du tracking de position et d’orientation de la caméra, des marqueurs, une rapidité se rapprochant du temps réel.
Un Framework mobile a plus récemment été développée par le HitLab. Il contient plusieurs librairies régulièrement mises à jour pour assurer un fonctionnement sous les diverses versions d’Android, et uniquement ce système d’exploitation.
L’entreprise californienne Metaio propose, elle aussi, un SDK pour des applications de Réalité Augmentée sur terminaux mobiles, appelée Mobile AR Development Kit.
Cette librairie est compatible avec les systèmes d’exploitation mobiles classiques (iOS, Android, Symbian, …) et est mise à disposition même pour des fins commerciales (en mentionnant Metaio). Elle donne des outils permettant, entre autre, d’afficher des données en 3D, de localiser les éléments à afficher, d’utiliser des marqueurs type QR-codes ou de plaquer des éléments sans utiliser des marqueurs.
Il existe aussi des Framework 3D de développement d’application de réalité augmentée, ces outils seront détaillés sur ce blog dans les travaux de Vincent Monier et Raphaël Sfeir.
Auteurs : Aurore Le Moigne et Claire Mayer

Licence Creative Commons
Cet article est mis à disposition selon les termes de la Licence Creative Commons Attribution – Pas d’Utilisation Commerciale – Partage dans les Mêmes Conditions 3.0 France.

Les outils et techniques en Réalité Augmentée (RA) sur matériel mobile

Ces dernières années, grâce à la démocratisation des terminaux mobiles et à la multiplication de leurs capacités, de nouvelles utilisations de la Réalité Augmentée ont vu le jour.
La Réalité Augmentée : qu’est-ce que c’est ?

La Réalité Augmentée (RA) consiste à plaquer des informations en temps réel sur une image du monde réel. Ses informations peuvent prendre la forme de textes, d’images (2D ou 3D), d’animations, etc. L’objectif de la RA est ainsi de compléter notre perception de la réalité en l’agrémentant d’éléments fictifs.

Cependant, les définitions de la Réalité Augmentée énoncées par les experts diffèrent légèrement. Par exemple, Ronald Azuma, chercheur à l’université de Californie, considère qu’un système de RA doit respecter trois critères fondamentaux :

  • Combiner réel et virtuel
  • Interagir en temps réel
  • Être enregistré en 3D

Aussi, Paul Milgram et Fumio Kishino décrivent la RA comme un élément de la “Réalité Mixte”. Le continuum Réalité-Virtualité définit cette dernière comme l’intervalle entre les environnements réel et virtuel. Elle se compose alors de la Réalité Augmentée (proche de l’environnement réel) et de la Virtualité Augmentée (proche de l’environnement virtuel).

Schéma simplifié du continuum Réalité-Virtualité

Et la mobilité ?

Tirant profit de l’enthousiasme actuel pour les applications mobiles, la Réalité Augmentée a commencé à investir nos smartphones et tablettes. Cet essor des applications mobiles de RA repose en partie sur l’utilisation de leurs nouvelles capacités. Cependant, les chercheurs travaillent également sur d’autres systèmes nomades. Nous pouvons citer par exemple le projet de lunettes 3D par Google.

Nous étude portera donc sur l’ensemble des appareils permettant aux utilisateurs d’accéder à l’information en situation de “mobilité”. Il s’agit alors de terminaux nomades (allant du smartphone aux lunettes 3D en passant par des périphériques plus exotiques) délivrant des données actualisées en temps réel.

Notre plan d’action

Afin de répondre à la problématique : “Les outils et techniques en Réalité Augmentée sur matériel mobile : usages, techniques et matériels associés.”, nous aborderons les thèmes suivants.

  • Mise en oeuvre technique de la Réalité Augmentée

Comment fonctionne la RA sur plates-formes mobiles ? Quels sont les différents outils à disposition des développeurs ? Comment sont utilisées les différentes fonctionnalités de l’appareil ?

  • Les limitations liées à la mobilité

Peut-on exploiter tout le potentiel de la RA sur mobile ? Dans quelle mesure est-elle limitée par les performances de l’appareil ?

  • La RA sur mobile pour le grand public

A quoi avons nous directement accès depuis nos mobiles en terme d’application en RA ? Que peut nous apporter la RA au quotidien ? Comment les enseignes utilisent-elles la RA pour améliorer la relation avec leurs clients ?

  • La RA sur mobile utilisée par les professionnels ou initiés

Comment la RA peut-elle faciliter l’exercice de certaines professions ? En quoi peut-elle faire évoluer certains métiers ? Va-t-elle créer de nouveaux besoins ?

  • Les possibilités futures offertes par la RA

Quelles sont les perspectives d’évolution de la RA ? A quoi ressemblera le monde de demain ?

Cette étude est menée par Aurore Le Moigne et Claire Mayer, élèves à l’Ecole Centrale de Nantes, et encadrée par Myriam Servières, maître de conférences à l’Ecole Centrale de Nantes.

Licence Creative CommonsCet article est mis à disposition selon les termes de la Licence Creative Commons Attribution – Pas d’Utilisation Commerciale – Partage dans les Mêmes Conditions 3.0 France.