La visualisation 3D sur site – conclusions et perspectives d’évolution

par Rémi Nguyen Van et Gabriel Guilbart.

Nous arrivons maintenant à notre dernier article au sujet de la visualisation 3D sur site, ce qui nous permet de conclure sur le statut de cette technologie, et de nous intéresser aux points les plus importants : les perspectives d’évolution futures.

 

Évolution des cas d’utilisation de la réalité augmentée

Comme nous avons pu le voir dans notre article du 22 novembre dernier, les exploitations qui sont faites de la réalité augmentée sont la plupart du temps orientées vers les particuliers : jeux, localisation d’un commerce à proximité, ou visualisation d’objets 3D dans leur environnement, avec des objectifs souvent plus ludiques que pratiques.

Mais cette tendance est de moins en moins marquée : on l’a vu avec l’application Ikea, permettant de visualiser ses meubles avant de les acheter : présentée sous un angle ludique dans la vidéo que nous vous avons montrée précédemment, elle vise tout de même à augmenter les ventes. Que ce soit pour la vente de paires de lunettes, de vêtements ou de meubles, l’e-commerce est de plus en plus intéressé par cette technologie qui pourrait bientôt se trouver au centre du modèle économique de nombreuses enseignes.

Exemple d'utilisation de l'application de réalité virtuelle d'Ikea

D’autre part, du point de vue industriel, nous vous avons montré plusieurs projets visant à augmenter l’efficacité des travaux : visualisation de conduites souterraines, ou aide au diagnostic des techniciens par exemple.

D’un point de vue global, on passe des premières applications ludiques ou démonstrations à une vraie exploitation de la technologie permettant de répondre à des problématiques n’ayant pas encore de solution efficace.

Les progrès du matériel utilisé

On l’a vu au cours de cette étude, les performances des terminaux mobiles augmentent régulièrement, qu’il s’agisse de leur puissance de calcul, de l’énergie consommée, de la résolution de l’écran ou des capteurs, de la taille de l’écran… permettant d’améliorer les techniques de la réalité augmentée sur site. Toutefois, certaines technologies à venir à plus ou moins long terme peuvent encore davantage faire progresser la réalité augmentée sur site. En voici quelques unes.

-> écrans transparents OLED

Parmi ces nouvelles techniques on peut citer la technologie OLED : retenez bien ce nom, c’est probablement l’écran de demain ! Les écrans OLED consomment beaucoup moins d’énergie que les écrans traditionnels, notamment parce que les pixels, conmposés de LED, sont directement la source de la lumière, au lieu de polarisation par des cristaux liquides de lumière produite par… des LED, de nos jours. En particulier, quand l’image est noire, ce n’est pas de la lumière polarisée en noire comme sur un écran LED classique mais vraiment une absence d’émission de lumière. Et vous pouvez le vérifier dans les options de vos smartphones, la consommation d’énergie des terminaux mobiles provient en bonne partie de l’éclairage. Un éclairage moins gourmand, c’est plus d’énergie pour augmenter la réalité !

Exemple de consommation d'éclairage

Un autre avantage de la technologie OLED : la possibilité d’utiliser des écrans transparents, même sur des tablettes. La finesse des écrans OLED les rend presque indétectable pour l’oeil. Cette transparence est locale et des informations peuvent être affichées sur l’écran alors qu’il laisse passer l’image réelle, sans qu’il soit nécessaire d’y projeter l’image observée par la caméra. Si encore une fois on obtient des économies d’énergie en délaissant la caméra, il s’agit bien sûr de libérer la machine des calculs de restitution de l’image sur l’écran, puissance de calcul de pouvant être attribuée à des augmentations de réalité plus intéressantes, faisant également disparaître les lags courts, mais réels et relativement désagréables, entre la réalité et sa restitution à l’écran. On peut également imaginer des interactions simplifiées, nouvelles avec l’environnement augmenté, notamment pour la précision de la restitution des mouvements à proximité immédiate du terminal mobile.

tablette OLED transparente - Fujitsu Iris

-> réalité augmentée par projection

La technologie OLED est supposée à terme, notamment une fois les brevets tombés dans le domaine public, être également bien moins onéreuse que les technologies existantes, au point d’être également utilisée pour l’éclairage. Il y aura probablement de nombreux écrans OLED dans notre environnement à l’avenir : fenêtres, écrans publicitaires… Les interactions imaginables dans le cadre de la réalité augmentée sur site sont extrêmement diverses, du guidage à l’aide d’informations affichées sur des écrans externes, de l’affichage d’informations ou même la création d’évènements via les vitres de sa voiture, de publicités dans le décor dans les trains… La réalité augmentée se ferait alors sans terminal personnel, et on rentrerait alors dans la limite de la réalité augmentée dite “sur site” puisque chaque chaque dispositif n’aurait finalement qu’un certain nombre d’évènements limités à gérer, l’effet serait obtenu dans l’ensemble.

écran/fenêtre OLED - Samsung Smart Window

D’autres dispositifs sont à l’étude pour permettre une réalité augmentée sans utilisation d’écrans : la réalité augmentée par projection d’images dans son environnement. Par exemple, le projet Sixth Sense. Le dispositif : une caméra qui analyse l’environnement et un projecteur qui affiche l’augmentation directement dans la réalité. L’affichage peut être de la réalité augmentée mais également n’importe quel type d’information. Cette technologie comme l’OLED est à l’étude depuis de nombreuses années mais ne semble pas contrairement à cette dernière devoir sortir prochainement. Les problématiques soulevées sont effectivement nombreuses : stabilité de la projection, où l’accrocher, et surtout où projeter, un endroit pas trop sombre, et lui-même vide d’informations qui puisse restituer l’image, sans conflit avec un autre utilisateur de la technologie… Peut-être ce genre de dispositif trouvera tout de même une place dans certains dispositifs de réalité augmentée sur site.

Projet Sixth Sense - principe

Projet Sixth Sense - utilisation

-> casques de réalité augmentée

Restons dans les dispositifs mains libres avec des lunettes de réalité augmentées. Par là nous n’entendons pas les Google Glass qui même si nous devons les croiser dans les mois à venir sont relativement éloignées de la réalité augmentée sur site telle que nous l’avons définie dans le tout premier article, la restitution de l’information étant certes contextuelle mais absolument pas placées dans l’environnement (il faut regarder en l’air pour voir les informations).

Non, il s’agit bien de casques ou tout le champ de vision est occupé par des écrans. Si la technologie n’est pas foncièrement nouvelle elle est actuellement en plein essor avec par exemple l’Oculus Rift qui permet de jouer à des jeux en réalité virtuelle. D’autres constructeurs tentent d’adapter le concept à la réalité augmentée avec des caméras. Bien entendu on en revient au problème d’avoir un appareil dédié à la réalité augmentée et relativement disgracieux et encombrant.

Oculus Rift modifié

Entre les Google Glass et le casque, on retrouve les lentilles de réalité augmentée, comme iOptiks.

lentille de réalité augmentée - Triggerfish, de Sensimed

 

-> nouvelles techniques de localisation et de communication

Nous allons nous éloigner pour la présentation de cette dernière technologie de la réalité augmentée sur site stricto sensu pour nous attarder sur de futures interactions entre nouvelles techniques de marquage et de communication. Petit rappel pour commencer : le marquage consiste à “tricher” en plaçant des identifiants dans l’environnement pour faciliter son analyse par l’appareil. Le dispositif ne correspond pas à la définition “sur site” puisque l’environnement est ainsi encadré. Un QR-code rentre la définition par exemple. Au cours des dernières années le nombre d’appareils connectés au réseau a littéralement explosé grâce aux appareils mobiles mais également à tout un ensemble de thermomètres, capteurs, etc., reliés entre eux.

Exemple d'utilisation de QR-code - préfecture de Vannes

 Actuellement une nouvelle technique de communication est en cours de développement : le Li-Fi. Il s’agit de communiquer par codes lumineux entre appareils. La lumière serait émise par… des LEDs, une nouvelle fois, d’éclairage ordinaire ou au contraire de taille microscopique mais dédiées au Li-Fi, à des longueurs d’onde non visibles, à l’aide de variations d’une brièveté imperceptible, bref, une technologie invisible. Le Li-Fi serait utilisé pour la communication mais également pour un marquage bien plus discret que tout ce qui existe jusqu’à présent. Où voulons-nous en venir me direz-vous ? Et bien une telle technologie rend le marquage ou la communication avec un terminal mobile tellement simple et discret qu’on peut en théorie l’utiliser en masse et de façon imperceptible à l’utilisateur pour transmettre des informations à l’appareil, en particulier sur sa localisation. Cette utilisation serait notamment pertinente dans des lieux touristiques ou de grande fréquentation et permettrait de réduire les problématiques d’analyse de l’environnement.

 

L’évolution des algorithmes de la visualisation 3D sur site

Dans notre dernier article, nous avons étudié 3 méthodes de localisation relative de l’information par rapport à l’utilisateur : par positionnement absolu (GPS, Wifi, réseau mobile), mais aussi par reconnaissance de marqueurs et reconnaissance de formes. De nombreux travaux de recherche sont en cours sur ces deux dernières techniques, si bien que la reconnaissance de marqueurs devient suffisamment mature pour être exploitée dans certains projets.

Réalité augmentée sur les publicités New Beetle 2012

D’autres exemples : http://www.businessinsider.com/11-amazing-augmented-reality-ads-2012-1?op=1

En revanche, nous n’avons pas encore trouvé de cas d’utilisation exploitant la reconnaissance d’objets 3D. Ceci s’explique probablement par le fait que ce procédé est complexe et nécessite certainement encore de nombreux travaux de recherche. Cette technique a pourtant très certainement sa place dans le futur qui s’annonce pour la visualisation 3D sur site : impossible d’apposer un marqueur géant sur toutes les faces d’un bâtiment par exemple, alors que l’industrie du bâtiment semble s’intéresser de plus en plus à ces technologies comme nous l’avons vu. Des avancées sont certainement à attendre sur ces algorithmes.

En conclusion

La visualisation en 3D sur site promet de nombreuses évolutions dans un futur proche : les technologies utilisées sont en progression rapide, ce qui permet une diversification des usages. Si les premières applications, telles que les navigateurs de réalité augmentée ou les jeux, permettaient plus d’impressionner l’utilisateur que de répondre efficacement à une problématique, on vise maintenant de vraies applications industrielles comme dans le secteur du bâtiment, ou marketing avec l’e-commerce. Une technologie à garder à l’oeil donc, car elle ne manquera pas de continuer à nous impressionner dans un futur très proche.

Merci de nous avoir suivi jusqu’au bout de notre série d’articles, pour votre peine voici une petite vidéo sur la réalité augmentée… qui mérite méditation. A bientôt !

Guardian Googles

Sources :

Tous nos remerciements aux groupes de GRAFI pour leurs exposés de qualité, dont on retrouve des extraits dans l’article.

2012 sera l’année de la réalité augmentée :

Essai de lunettes en ligne par réalité augmentée :

Webcam Social Shopper, plate-forme d’essai de vêtements :

L’utilisation de marqueurs pour la publicité en visualisation 3D :

OLED

Fonctionnement des Google Glass

Lentilles de réalité augmentée

Casque de réalité augmentée

Sixth Sense

Guardian Goggles

Licence Creative Commons
Cette œuvre est mise à disposition selon les termes de la Licence Creative Commons Attribution – Pas d’Utilisation Commerciale – Partage dans les Mêmes Conditions 3.0 non transposé.

Article 6 – Et si l’on devait effectuer une formation Santé et Numérique ?

A la vue de l’état de l’art effectué dans les articles précédents, nous imaginons ici les connaissances qu’un ingénieur généraliste devrait acquérir en informatique et en sciences médicales.
Dans notre article sur les formations existantes (article 4) , nous avons cité les masters à destination de cadres du milieu de la santé (gestionnaire, médecins, statisticiens…). Nous avons constaté que les formations proposées sont souvent très applicatives ; peu d’offres existent aujourd’hui pour un ingénieur généraliste qui souhaiterait acquérir un spécialisation dans les technologies de la santé et développer de nouveaux outils informatiques.
Ainsi, l’objectif serait double :  d’une part, se spécialiser dans l’ingénierie appliquée aux sciences médicales afin de concevoir et implémenter des stratégies innovantes et mieux répondre aux défis actuels des systèmes de santé ; et d’autre part acquérir de nouvelles connaissances dans ce domaine afin de pouvoir interagir dans un milieu pluridisciplinaire.

Les trois thématiques à aborder transversalement dans cet enseignement sont :

  • La biologie de synthèse et génétique;

  • Le système d’information médical ;

  • Le traitement digital et la robotique.

Il s’agit des thématiques que nous avions dégagées dans notre premier article.

Nous présentons ici chaque module d’enseignement à intégrer dans la formation.

Mathématiques [1]
Ce module regroupe toutes les connaissances théoriques qui sont indispensables à la formation de l’ingénieur en général afin de pouvoir  résoudre les problèmes de manière autonome. On peut considérer certaines connaissances comme pré-requises (exemple : optimisation numérique).

         Bases communes

  • Introduction aux calculs stochastiques

  • Méthodes probabilistes : méthodes de Monte Carlo, chaînes de Markov, processus de diffusion.

    Appliquées au traitement d’image
    Des outils d’analyse fonctionnelles sont nécessaire en traitement d’images. Pour commencer, on pourrait introduire les thématiques suivantes :

  • Optimisation dans les espaces de Banach;

  • Formulation variationnelle des équations aux dérivées partielles (permet de traiter des problèmes exprimés sous forme variationnelle, d’aborder des problèmes non-linéaires, d’obtenir des résultats d’existence et d’unicité de solution, voire des schémas de résolution numérique efficaces);

  • Analyse convexe non lisse.

    Appliquées à l’intelligence artificielle
    Dans le cadre de l’IA, les mathématiques servent à analyser les données et de les classifier selon des méthodes spécifiques aux quelles on pourrait initier l’ingénieur.

  • Décrire les méthodes de classification et de clustering;

  • Introduire les arbres de décisions et l’analyse discriminante paramétrique et non paramétrique;

  • Initier aux modèles de mélanges et savoir déterminer quand les utiliser, ainsi que les algorithmes espérance-maximisation (utilisés pour la classification de données, l’apprentissage automatique, ou la vision artificielle).

    Appliquées à la biologie

  • Étudier les algorithmes de la biologie structurelle computationelle;

  • Méthodes formelles appliquées aux systèmes complexes.

Outre l’acquisition d’une base solide de connaissances mathématiques, on pourrait envisager des cours dédiés à une spécialité. Nous avons pensé au  traitement digital et à la robotique, à  l’imagerie médicale et l’ingénierie virtuelle.

Imagerie médicale et ingénierie virtuelle [3]

Le module d’imagerie médicale apporte une connaissance générale sur le traitement d’images et ses applications. Un ingénieur pourra se pencher sur ses enjeux numériques comme la rapidité d’acquisition d’image médicale ou le développement de nouvelles technologies d’imagerie pour créer des modèles physiologiques personnalisés.

Imagerie médicale

  • Physique et  technologie de l’imagerie médicale ;

    • imagerie nucléaire, par laser, par résonance magnétique(IRM), ultra-sons(échographie), tomodensitométrie(scanners) etc…

  • Traitement d’image ;

    • Quantification et caractérisation de formes, filtrage et segmentation, recalage, fusion, compression etc..

    • Modélisation surfacique

    • Présentation de logiciels de traitement d’images médicales

  • Systèmes de stockage et de diffusion d’images médicales.

Réalité virtuelle

La réalité virtuelle révolutionne l’imagerie médicale en permettant l’instantanéité de l’acquisition d’image lors d’une opération chirurgicale par exemple. Le cours de réalité virtuelle est principalement introductif et permet d’apprendre les différentes formes de réalité virtuelle :

  • Visualiser par augmentation de l’image;

  • Découvrir des moteurs de rendu 3D.

Robotique et intelligence artificielle
Nous pensons, suite à notre article n°3 qui établit un état de l’art sur la robotique, que l’intelligence artificielle est directement reliée à la robotique et qu’elle est notamment l’enjeu majeur du développement de machines plus performantes en terme de précision, sécurité et adaptabilité à son environnement et aux situations inattendues.

Robotique
Des pré-requis en automatique et de commande sont demandés. La robotique est un sujet vaste. Nous aimerions que cette matière pousse à l’apprentissage des connaissances de bases de la robotique et qu’en complément soit démontré son impact concret grâce à des visites d’entreprise et démonstrations de nouvelles technologies robotiques du médical.

  • Introduire la robotique médicale (état de l’art en robotique chirurgicale et d’assistance, classification de la robotique, les enjeux comme la télé-opération)

  • Enseigner la modélisation et la programmation pour la robotique : modélisations géométrique, cinématique et dynamique des manipulateurs, étude de la commande des robots manipulateurs, simulations.

  • Visites (laboratoire de recherche, entreprise médicale, établissement de soin)

Intelligence artificielle
Dans ce cours, l’objectif est d’acquérir des techniques plus avancées de modélisation et d’ingénierie des systèmes intelligents et d’aide à la décision.

  • Se perfectionner dans l’analyse et la représentation des connaissances;

  • Introduire la notion de datamining et de machine de décision ;

  • Règles d’apprentissage et techniques de modélisation prédictive :  appliquer les algorithmes connus du monde médical comme les réseaux de neurones ou  la régression logistique, les nomogrammes, les réseaux bayesiens.

Concernant les modules qui peuvent être intégrés dans une formation plus orientée système d’informations médical, nous estimons intéressant d’introduire les deux modules suivants.

Systèmes d’information

Le cours de SI est appliqué directement au secteur de la santé.

  • Présenter les SI nationaux pour la santé;

  • Définir les aspects métiers et applicatifs “santé” (processus, schéma directeur, urbanisation);

  • Présenter l’architecture matérielle des SI modernes;

  • Introduire les nouveaux concepts de la télésanté, e-santé via un intervenant extérieur par exemple;

  • Définir le cycle de vie d’un médicament, validé par le SI;

  • Normer et évaluer la qualité d ‘un SI.

  • S’interroger sur les moyens de conduire le changement.

Sécurité et fiabilité des SI
Un apport approfondi en terme de sûreté, sécurité et  confidentialité, est exigé pour les systèmes d’ informations de santé. Ce qui nécessite des connaissances présentés ci-dessous.

  • Robustesse des systèmes (modèles statistiques, analyse des risques etc.. );

  • Sécurité des réseaux;

  • Théories des codage et cryptage des données;

  • Management de la sécurité de l’information;

  • Systèmes concurrents et distribués;

    • programmation concurrente ;

    • programmation paralèlle;

    • Temps réel etc…

Enfin, ces enseignements techniques  sont  caractérisés par une forte transversalité avec une formation médicale. D’où la nécessité d’intégrer au sein de l’enseignement un module de culture générale dans le secteur de la santé.

Initiation aux Sciences médicales

  • Etre sensibilisé au droit de la santé (légalité du SI, sécurité);

  • Terminologie médical : s’approprier le langage des sciences biologiques et médicales.

  • Comprendre l’organisation économique des établissements de santé publics et privés

 

Finalement, l’idéal serait que pour chaque module proposé des intervenants extérieurs participent et que des visites d’entreprises soient réalisés afin d’apporter un regard concret et un complément d’information sur les débouchés existants.

Bibliographie :

[1]http://documents.irevues.inist.fr/bitstream/handle/2042/1976/nondispo.pdf?sequence=1 [Mathématiques et Traitement d’images]

https://www.ljll.math.upmc.fr/mbio/enseignement-s2.php  [Exemple de master Mathématiques appliquées aux sciences biologique & médicales]

[2] http://www3.imperial.ac.uk/computing/teaching/pg/mcsai http://www.univ-lyon2.fr/formation/masters-2/master-2-intelligence-artificielle-et-decision-iade-428005.kjsp?RH=M2 [Intelligence Artificielle]

[3] http://www.sfrnet.org/cerf/recherche/formations-selectionnees/liste-masters/index.phtml

http://www.e-mmi.eu/media/document/EMMIPlaquette09.pdf  [Traitement d’images]

[4]http://isis.univ-jfc.fr/sites/isis.univ-jfc.fr/files/syllabusthmatiqueisis_07122009.pdf

http://www.telecom-physique.fr/uploads/media/leafletFIPTIS.pdf [Informatique pour la santé]

 

Auteurs : Olfa Koubaa & Flore Massoullié

Encadrant : Morgan Magnin

Licence Creative Commons
Article 6 – Et si l’on devait effectuer une formation Santé et Numérique ? de Olfa Koubaa et Flore Massoullié est mis à disposition selon les termes de la licence Creative Commons Attribution – Pas d’Utilisation Commerciale – Partage dans les Mêmes Conditions 3.0 non transposé.

Le matériel utilisé pour la réalité augmentée

par Rémi Nguyen Van et Gabriel Guilbart.

Nous vous avons présenté le mois dernier un état de l’art des applications de réalité augmentée disponibles à l’heure actuelle.
Pour bien comprendre ce qui peut et ne peut pas se faire dans le domaine, il est nécessaire d’identifier les performances atteignables par les appareils utilisés.
La visualisation d’informations localisées en surimpression sur le milieu de l’utilisateur nécessite de pouvoir :

  • Détecter la position relative de l’information par rapport à l’utilisateur
  • Insérer cette information dans le milieu réel

Détection de la position d’une information par rapport à l’utilisateur

Localisation par analyse d’image

Matériel nécessaire : appareil d’acquisition d’image, puissance de calcul suffisante

Pour déterminer où afficher une information par rapport au milieu de l’utilisateur, il est possible de capter une image du milieu à l’aide d’un appareil photo, et de l’analyser afin de déterminer les zones correspondant à l’information à insérer.

Bien que l’importance de ces facteurs soit à relativiser, voici un résumé du nombres de pixels qu’un smartphone récent peut acquérir par sa caméra intégrée, ainsi que la fréquence de son processeur.

Modèle HTC One Apple iPhone 5S Google Nexus 5 Apple iPad Air Nokia Lumia 1020
Pixels caméra 4Mpx 8Mpx 8Mpx 5Mpx 41Mpx
Processeur 4 coeurs – 1,7GHz 2 coeurs – 1,3GHz 4 coeurs – 2,28GHz 2 coeurs – 1,4GHz 2 coeurs – 1,5GHz

Évolution de la fréquence des processeurs d’ordinateur
(D’après la National Academy of Science)

Les fréquences de processeur qu’on trouve maintenant dans un smartphone correspondent à ce qu’on pouvait trouver dans un ordinateur il y a seulement quelques années, ce qui fournit une capacité de calcul très importante.

Les appareils d’acquisition d’image ne sont généralement pas un point bloquant : leur performance est maintenant suffisante pour fournir les données nécessaires au traitement.

Le problème de cette technique de localisation se situe principalement au niveau des algorithmes d’analyse d’image, sur lesquels nous reviendront dans notre prochain article ; le matériel, lui, est généralement suffisant pour appliquer les méthodes utilisables sur un ordinateur.

Détection de la position et de l’orientation de l’appareil

Une deuxième méthode de positionnement de l’information par rapport à l’utilisateur – et donc l’appareil – consiste à connaître la position géographique de l’information, obtenir celle de l’appareil et son orientation, afin d’en déduire la position relative des deux objets.

Position de l’appareil

1) Par GPS

Le GPS est très souvent utilisé pour repérer un appareil mobile, et est un composant très classique des smartphones et tablettes actuels, d’où une utilisation importante dans le domaine pour le grand public.
En revanche, un GPS standard donne en général une précision d’une quinzaine de mètres, ce qui le rend inutilisable pour de nombreuses applications de réalité augmentée. Une tolérance de cet ordre doit être possible pour se baser sur cette technologie.

Bien que peu utilisés par les appareils grand public, des dispositifs de correction tels que le DGPS peuvent être utilisés pour améliorer cette précision. le DGPS consiste à mesurer les réelles positions des satellites à partir d’une station terrestre dont la position est connue, et à transmettre à l’utilisateur les corrections nécessaires pour sa position.
On peut alors obtenir une précision d’un mètre, voire de dix centimètres, selon les implémentations de ce système.

D’autre part, le système GPS ne peut être utilisé qu’en extérieur, ce qui limite encore ses applications.

2) Autres techniques de localisation

Les réseaux sans fil Wifi et GSM peuvent aussi être utilisés pour localiser l’appareil. Cependant, la précision de ces mesures est souvent faible avec des marges d’erreur de plusieurs dizaines de mètres, ce qui les rend inapplicables pour la réalité augmentée.

En revanche, avec une étude poussée au sein d’un bâtiment, on peut obtenir une précision de quelques mètres, en utilisant les balises Wifi installées par exemple.
Apple a récemment présenté la technologie iBeacon, utilisant des balises Low Energy Bluetooth pour repérer la proximité de l’utilisateur avec celles-ci.
Enfin, utiliser le champ magnétique terrestre et généré par un bâtiment peut aussi être utilisé à des fins de localisation, comme proposé par l’entreprise IndoorAtlas. Certains smartphones disposent en effet de magnétomètres.

Orientation de l’appareil

Deux composants sont actuellement utilisés pour repérer l’orientation d’un appareil : le gyroscope et l’accéléromètre.

Accéléromètre
Un accéléromètre mesure le champ de forces appliqué à un appareil. En réalité en désignant un accéléromètre on fait la plupart du temps référence à un système d’accéléromètres, correspondant à un système d’axes – en général trois – pour les smartphones. La distinction est ensuite faite entre une accélération linéaire (comme l’utilisateur agitant son appareil) et la gravité. Le champ de gravité obtenu permet de connaître l’orientation (paysage/portrait) de l’appareil.

Gyroscope
“Qui observe la rotation”. Il s’agit d’une combinaison entre un dispositif résistant aux modifications de son orientation et d’autres dispositifs qui varient. Renvoie la vitesse angulaire, et permet de déterminer l’assiette de l’appareil, puis le champ de vision offert par les capteurs image de l’appareil.

Principe du gyroscope (Wikimedia Commons).
On voit sur l’animation que la rotation de l’élément jaune n’est pas perturbée.

Insertion d’une information dans le milieu réel

Les dispositifs de représentation sont très variés : si les smartphones sont les plus répandus, d’autres dispositifs existaient ou sont en voie de développement

Casque “traditionnel”, muni de deux écrans OLED – un pour chaque oeil, occultant la vision. Le modèle est à l’origine conçu pour la réalité virtuelle mais la caméra permet une transposition à la réalité augmentée pour ce prototype.
Lunettes Sony gamme HFZ, 2012


On ne présente plus les Google Glass. L’information est incluse dans un écran situé dans un coin du champ de vision, qui n’est pas occulté.

Un principe qu’on retrouve également dans l’affichage tête haute de ce Peugeot 3008, avec un écran de plexiglas situé dans le champ de vision du conducteur et lui indiquant des informations de conduite.

Bilan

Cette analyse du matériel existant nous a montré que les appareils de réalité augmenté ne manquent pas de capacités ou de puissance de calcul pour mener à bien les calculs et les algorithmes que nous étudierons l’an prochain. Merci d’avoir lu cet article, et bonnes fêtes.

Références/liens

  • AlterGeo, localisation par réseaux sans fil (dont Wifi) : http://platform.altergeo.ru/index.php?mode=about
  • IndoorAtlas, localisation dans les bâtiments par variations du champ magnétique : https://www.indooratlas.com/
  • Redpin, localisation en intérieur par réseaux Wifi : http://redpin.org/

Licence Creative Commons
Cette œuvre est mise à disposition selon les termes de la Licence Creative Commons Attribution – Pas d’Utilisation Commerciale – Partage dans les Mêmes Conditions 3.0 non transposé.

Réalité virtuelle – Visualisation 3D sur site : état de l’art

Rémi Nguyen Van et Gabriel Guilbart

Pour continuer notre série d’articles sur la visualisation 3D sur site, nous vous proposons aujourd’hui un état de l’art de ces technologies de réalité augmentée.

La réalité augmentée est encore une technologie jeune, qui fait l’objet de nombreux sujets de recherche. Cependant, de nombreuses applications grand public sont apparues durant ces dernières années, aidées par l’augmentation du nombre de possesseurs de smartphones et tablettes. La réalité augmentée est aussi de plus en plus étudiées pour un usage professionnel.

1) Jeux

La plupart des jeux basés sur la réalité augmentée à l’heure actuelle ne prennent pas en compte, ou très peu, le milieu environnant. De ce fait, elles sortent du cadre de la visualisation 3D sur site, et donc de notre étude. On tout de même citer :

  • l’AR Drone, un quadricoptère télécommandé équipé de nombreux capteurs et de caméras, contrôlé par smartphone ou tablette, et qui permet de mettre en scène certains jeux utilisant parfois des marqueurs pour le positionner par rapport à son milieu.
  • Ingress, un jeu édité par Google, est disponible publiquement depuis fin octobre 2013 : il s’agit de capturer virtuellement des zones du monde réel, en coopérant avec d’autres joueurs contre les joueurs adverses.

L’interaction avec le milieu de l’utilisateur est très limitée dans ces situations : les applications n’interagissent pas avec les bâtiments, personnes ou objets situés dans la rue par exemple. Les technologies actuelles sont en effet trop limitées pour prendre ces éléments en compte. Bien qu’en essor rapide, la réalité augmentée sur site pour le jeu a encore du chemin à faire.

2) Applications utilitaires

Les navigateurs de réalité augmentée
La visualisation 3D sur site trouve de nombreuses applications utilitaires destinées à un usage quotidien. Parmi celles-ci, la localisation de points d’intérêt est sans doute la plus représentée. Elle peut se faire notamment en utilisant un navigateur de réalité augmentée, tel que Layar ou Wikitude.
Parmi les fonctionnalités proposées : trouver un restaurant à proximité, afficher les stations de vélos en libre service à proximité et leur occupation, afficher les tweets des utilisateurs proches… Le tout en superposition sur l’image captée par l’appareil photo de l’appareil, de façon géolocalisée.

Wikitude : un navigateur de réalité augmentée (image : Wikitude)

Un navigateur de réalité augmentée permet d’afficher des données issues de calques souvent fournis par d’autres développeurs. Ainsi, l’application Layar par exemple propose plusieurs milliers de calques créés par les utilisateurs, capables d’afficher des informations géolocalisées utiles dans la vie de tous les jours.

Cependant, ces applications utilisent le plus souvent des données dont la précision géographique peut être faible : même si un restaurant est affiché 5 mètres plus loin que sa localisation réelle, l’utilisateur n’a pas besoin d’une précision plus grande pour le trouver facilement. Ceci est rendu nécessaire par le fait que les capteurs de position des appareils, utilisant les antennes GSM, WiFi, et le GPS, ne peuvent pas fournir une marge d’erreur inférieure à quelques mètres. Il s’agit encore une fois d’une limite de la technologie actuelle.

Ces navigateurs utilisent parfois aussi des systèmes de marqueurs permettant à l’utilisateur d’interagir avec des certains objets, tels que des affiches publicitaires ou des images insérées dans des articles de journaux. Bien que la précision soit bien meilleure, l’utilisation est alors toute autre et sort du cadre de notre étude.

Visualisation d’objets 3D dans leur environnement

Les appareils mobiles sont maintenant suffisamment puissants pour pouvoir simuler en temps réel la présence d’un objet en 3D dans son environnement. Une opportunité saisie par Ikea, qui a récemment inclus la possibilité de visualiser ses futurs meubles en réalité augmentée, dans leur application de catalogue Ikea sur Android et iOS.

http://www.youtube.com/watch?v=vDNzTasuYEw

Il suffit à l’utilisateur de sélectionner un meuble, déposer le catalogue papier à un endroit de la pièce, et le meuble est inséré sur l’écran du smartphone ou de la tablette en superposition par sur l’image de l’appareil photo. Le catalogue, dont les dimensions sont connues, sert à la fois de repère de position et d’échelle, afin d’être certain que le meuble affiché correspond aux dimensions réelles.

Il semble que cette technologie soit suffisamment mature pour être pleinement exploitée. L’utilisation d’un marqueur de réalité augmentée permet généralement d’obtenir une très bonne précision, mais est contraignante car elle oblige à marquer de manière visible tous les objets à prendre en compte. Ici, l’utilisation du catalogue comme marqueur se révèle efficace et peu contraignante pour l’utilisateur, puisqu’il ne souhaite que visualiser un objet à un endroit facilement accessible pour une courte durée.

Navigation GPS par réalité augmentée

Après l’utilisation de navigateurs de réalité augmentée pour localiser le restaurant le plus proche, l’utilisation de cette technologie pour la navigation GPS est une suite logique. Pourtant, elle n’est presque pas utilisée à l’heure actuelle, probablement à cause du manque de support convenable permettant d’éviter de distraire le conducteur.

Virtual Cable est un projet en développement par MVS California, qui vise à afficher ces informations sur le pare-brise d’une voiture. La technologie développée utilise une méthode d’affichage 3D spéciale, permettant de donner au conducteur l’impression qu’une ligne lumineuse s’affichant au-dessus de la route lui indique le chemin à suivre.

http://www.youtube.com/watch?v=3kNQZC6DpbE

Cette fois la localisation n’est plus le facteur posant problème, principalement en milieu rural, car les systèmes de navigation GPS ont été perfectionnés depuis plusieurs années. En revanche, l’affichage est un facteur limitant : l’attention du conducteur ne doit pas être détournée de la route. Les technologies répondant à ce besoin sont donc toujours en développement et perfectionnement.

3) Applications professionnelles

Aide opérationnelle

La réalité augmentée peut être utilisée pour afficher rapidement des informations sur des éléments sur lesquels un opérateur veut travailler. Un exemple avec un projet allemand ayant été utilisé lors d’une chirurgie pour un cancer du foie : une application pour tablette permet de visualiser, en surimpression sur les organes du patient, la localisation des vaisseaux sanguins. Cette technique permet d’estimer la longueur des vaisseaux à sectionner, l’irrigation apportée après l’opération, et de prendre rapidement des décisions pendant l’opération.

http://venturebeat.com/2013/08/22/augmented-reality-gives-surgeons-a-virtual-look-at-real-world-organs-during-operations/

Dans un domaine moins sensible, la réalité augmentée peut aussi être utilisée pour la formation de techniciens de maintenance. Le projet NGRAIN d’Agenium est relativement semblable à l’application faite en chirurgie, mais est cette fois utilisé pour former rapidement des opérateurs à la manipulation de matériels. Une démonstration en vidéo :

http://www.youtube.com/watch?v=DKEcQ9uiII0&feature=youtu.be

Encore au stade de recherche, la difficulté de cette technologie est à la fois au niveau du positionnement des éléments visualisés, mais aussi de la visualisation : manipuler une tablette tactile n’est pas une option la plupart du temps pour un chirurgien. Tout comme pour la navigation GPS, des améliorations sont à apporter, mais cette technologie est déjà en développement.

Génie civil

La précision relative apportée par les appareils de réalité augmentée actuels les rend suffisants pour de nombreuses applications en génie civil. Parmi celles-ci, le projet Vidente : un appareil de réalité augmentée spécial est utilisé par un opérateur pour visualiser les conduites souterraines, et correctement planifier des travaux.


Le projet Vidente

Visualiser un bâtiment avant sa construction fait également partie des autres applications possibles. Bien que peu d’applications sont encore adoptées par le secteur à l’heure actuelle, de nombreux projets sont en cours et recueillent de plus en plus d’attention. Les performances actuelles des appareils sont suffisantes pour ce genre d’applications, qui ne demandent plus qu’à être adoptées dans les procédures habituelles.

Conclusion

La visualisation 3D sur site possède déjà de nombreuses applications entièrement utilisables, aussi bien dans la vie de tous les jours (“Où est la station de vélos le plus proche ?”, “Ce canapé tiendrait-il dans mon salon ?”), que pour les entreprises (“Les fondations de mon bâtiment ne vont-elles pas se heurter à des conduites ?”, “Comment guider facilement mes techniciens pendant leurs opérations ?”). Bien que répondant déjà à de nombreuses questions, certains points doivent encore être améliorés, comme la précision géographique des données par rapport à l’appareil, et les moyens d’affichage : forcer l’utilisateur à pointer une tablette tactile vers ce qui l’intéresse est contraignant.
Dans tous les cas, de nombreuses opportunités sont à exploiter dès maintenant par les entreprises dans ce secteur.

Merci de votre attention, nous vous retrouvons le mois prochain pour un troisième article sur la réalité augmentée, à propos du matériel employé.

Rémi Nguyen Van et Gabriel Guilbart

Liens :

AR drone : http://ardrone2.parrot.com/
Ingress : https://play.google.com/store/apps/details?id=com.nianticproject.ingress
Wikitude : http://www.wikitude.com/
Layar : https://www.layar.com/
Application catalogue Ikea : http://www.ikea.com/ms/fr_FR/france/appli_catalogue_2014.html
Virtual Cable : http://www.digitaltrends.com/cars/new-augmented-reality-system-shows-3d-gps-navigation-through-your-windshield/
Chirurgie et réalité augmentée : http://venturebeat.com/2013/08/22/augmented-reality-gives-surgeons-a-virtual-look-at-real-world-organs-during-operations/
Vidente : http://www.vidente.at/

Licence Creative Commons
Cette œuvre est mise à disposition selon les termes de la Licence Creative Commons Attribution – Pas d’Utilisation Commerciale – Partage dans les Mêmes Conditions 3.0 non transposé.

Article 3 – Robotique dans le milieu de la santé

Nous entamons la présentation de notre dernier axe de réflexion concernant la santé et l’informatique : la robotique.

Outre les applications militaires, industrielles ou domestiques, la robotique, que l’on définit par l’ensemble des techniques permettant la conception, la réalisation de machines automatiques ou de robots, connaît aussi des applications médicales.

   1.  Chirurgie et les technologies associées

Depuis 1998, la robotique est présente en salle opératoire dans le cadre d’opérations chirurgicales. Afin de répondre aux enjeux médicaux tels que la minimisation des risques de complication postopératoires, la réduction du temps d’intervention ou d’hospitalisation, des nouvelles technologies médicales se sont développées:

  • La télé-opération,
  • La chirurgie assistée par l’image,
  • Les matériaux et appareillages associés: mise en place de bras mécanique assistée par ordinateur,
    Exemple: Le premier robot utilisé, Da Vinci [1], combine la technologie 3D image de haute définition et des bras mécaniques et instruments miniaturisés qui reproduisent le mouvement des mains du chirurgien. Ce robot est aujourd’hui utilisé aux Etats-Unis pour effectuer 60% des opérations sur la prostate.
  • Les dispositifs de suppléance fonctionnelle : pompes à insuline, pacemaker, environnement intelligent à domicile. [2]

La réalité virtuelle

L’imagerie médicale est particulièrement concernée par ces évolutions avec le développement de la réalité virtuelle. La réalité virtuelle permet de modéliser des organes (simulateur en trois dimensions) et pourra, dans un futur plus lointain, permettre de modéliser le ressenti du toucher d’une forme ou de la texture d’un organe, on parle de technologies haptiques.

Il reste aujourd’hui des améliorations informatiques majeures à apporter aux dispositifs actuels de chirurgie par ordinateur, en voici quelques unes:

  • Automatiser la modélisation 3D des patients ;
  • Interpréter cette modélisation et l’exploiter grâce à un logiciel de planification et de simulation chirurgicale (pour permettre de s’entraîner au geste chirurgical avant opération) ;
  • Implémenter la réalité augmentée lors des opération en replaçant des données préopératoires sur la vue réelle du patient (amélioration du ciblage des pathologies) ;
  • Robotiser la procédure du geste humain par celui d’un robot.

L’intelligence artificielle

La robotisation de l’activité médicale s’accompagne par ailleurs de travaux de recherche en intelligence artificielle. L’IA est une discipline scientifique relative au traitement des connaissances et au raisonnement humain dont l’objectif est de doter les systèmes informatiques de capacités intellectuelles comparables à celles des êtres humains.

Son apparition date de 1989 avec la création de robots semi-actifs présents dans les bloc opératoires. Concernant la robotique actuelle et future, on parle surtout d’une IA forte  qui se base sur l’analyse et la prise de décision dans les les situations concrètes. Ceci est à la base de nouvelles pistes de recherche en informatique  comme:

  • Modèles formels et algorithmes efficaces d’apprentissage ;

  • Mathématiques appliquées calcul et simulation ;

  • Traitement d’image médicale piloté par raisonnement ;

  • Systèmes embarqués et temps réel.

Au delà de la chirurgie opératoire, des innovations en intelligence artificielle ont permis de contourner des pathologies (défaillance de sensi-moteurs) et handicaps chez certains patients. On citera par exemple les travaux réalisés sur la déambulation et le mouvement artificiel à l’INRIA (projet STIC-DEMAR – Déambulation et mouvement artificiel ou le projet). En plus des aspects robotique et automatique, la complexité du corps humain et la nécessité de commander des systèmes non linéaires demandent d’effectuer un travail de recherche et de développement théoriques (comme la modélisation mathématiques de sensori-moteurs).[4]

Image du dispositif Ekso de la société EksobionicsImage: Le dispositif ekso, un exemple de robotique utilisée dans le secteur médical.

    2.  La nanotechnologie

Le terme nano est aussi présent dans le monde de la robotique que dans le monde de la médecine. Le désir d’entrer dans le nano-monde non seulement pour l’observation, mais aussi pour le traitement constitue une des motivations majeures  dans la recherche en  nanomédecine et  nanorobotique. Il s’agit d’un champ de recherche transversal dans le quel interviennent plusieurs disciplines comme la physique, la chimie, les sciences des matériaux, la biologie, l’informatique, etc. Ainsi, la nanotechnologie aura un impact majeur dans le développement de traitements médicaux plus efficaces.

La recherche en  nanosciences  à gagner en visibilité ces dernières années: l’UNIM[5] (Unité NanoRobotique d’Interventions Médicales) est un laboratoire à l’école polytechnique de Montréal dont l’objectif est de concevoir des techniques et des plateformes nanorobotiques novatrices en exploitant les propriétés uniques des entités à l’échelle moléculaire.  Comme exemple de projet, on peut citer :

  • Développement de bio-transporteurs et de brocanteurs IRM navigables dans les vaisseaux sanguins ;
  • Développement de microsystèmes et de bio-capteurs utilisant des phages propulsés par bactérie magnétostatique MC-1 qui sont contrôlées par un système de navigation informatique pour la détection rapide de bactéries pathogènes ;
  • Développement de systèmes microfluidiques et de systèmes « Lab-on-a-Chip » et « micro-Total-Analysis Systems » (µTAS) utilisant la technique des bactéries magnétotactiques contrôlées par système informatique ;
  • Plateforme pour le contrôle informatique de manipulations et d’opérations coordonnées effectuées par des bactéries à l’échelle submicronique.

Les nanosciences sont aussi présentes  dans les activités du CEA [6]. Les recherches menées au CEA en nanomédecine portent sur plusieurs domaines ciblés [7] :

  • Le diagnostic : qui mène à l’identification d’une maladie grâce à la détection de symptômes spécifiques de la pathologie .
  • La thérapie : traitement spécifique d’une maladie .
  • La médecine régénérative : qui vise à permettre une régénération de tissu ou organes humains endommagés ;
  • Et les systèmes de capteurs : ensemble d’interfaces détectant, sous la forme d’un signal électrique, un phénomène physique afin de le représenter et d’acquérir des données sur ce dernier.

On peut envisager d’autres exemples comme :
La gélule caméra qui est développée depuis 2000 par des chercheurs israéliens de la société Given Imaging[8]. Cette gélule contient une minuscule caméra vidéo permettant d’enregistrer des images qui sont ensuite transmises par télémétrie à un dispositif externe. Cette capsule est considérée comme le résultat d’une convergence technologique entre le progrès de l’informatique et des nanotechnologies.

Image: capsule Given Imaging.

Finalement, nous avons rendu compte des enjeux scientifiques et humains du développement informatique en robotique et nanotechnologies pour le secteur médical. Néanmoins, la robotique a un coût et cette notion en France soulève la  question centrale des investissements financiers à fournir.

[1]http://www.davincisurgery.com/da-vinci-general-surgery/da-vinci-surgery/da-vinci-surgical-system/

[2]http://www.inserm.fr/thematiques/technologies-pour-la-sante/dossiers-d-information/chirurgie-assistee-par-ordinateur

[3] http://www.ircad.fr/institut/

[4] http://www.lirmm.fr/recherche/le-lirmm-et-la-sante

[5] http://wiki.polymtl.ca/nano/fr/index.php/Laboratoire_de_NanoRobotique

[6] http://www.cea.fr/

[7] http://www.cea.fr/technologies/nanomedecine/les-recherches-du-cea-en-nanomedecine

[8]http://www.sfed.org/Given-Imaging/

Auteurs : Olfa Koubaa & Flore Massoullié
Encadrant : Morgan Magnin

 

Licence Creative Commons
Article 3 – Robotique dans le milieu de la santé de Olfa Koubaa et Flore Massoullié est mis à disposition selon les termes de la licence Creative Commons Attribution – Pas d’Utilisation Commerciale – Partage dans les Mêmes Conditions 3.0 non transposé.

Synthèse sur les outils et techniques en Réalité Augmentée sur matériel mobile

Depuis le mois de Novembre, nous avons mené une veille technologique ayant pour thème la Réalité Augmentée sur terminaux mobiles.

Les périphériques mobiles tendent à devenir les principaux supports de la RA. Ce phénomène est dû aux performances de ces multiples terminaux :

  • Qu’il s’agisse d’appareils existants : Tablettes, smartphones
  • Ou en cours d’élaboration : Lunettes Google, Ondes cérébrales

En effet, pour fonctionner la RA utilise les technologies suivantes : les marqueurs, la géolocalisation et la reconnaissance de forme.

Les applications mobiles de RA sont de plus en plus nombreuses. D’autant plus nombreuses qu’un certain nombre de frameworks sont aujourd’hui à disposition de tous pour mettre en oeuvre la RA. Ces applications touchent principalement les domaines suivants :

  • Pour le grand public : localisation d’éléments en ville, jeux vidéos, immobilier, shopping
  • Pour les professionnels : formation, assistance

Cependant, nous avons pu noter que les applications marketing et ludiques sont aujourd’hui les plus répandues.

 Peut-être manque-t-il quelque chose à la RA pour qu’elle soit adoptée par tous les secteurs d’activité ? Nous avons en effet relevé trois limites majeures liées à la mobilité :

  • Précision des données issues du GPS et de la caméra
  • Performance des calculateurs
  • Problèmes de reflets et occlusions lors d’une utilisation en extérieur

La priorité aujourd’hui consisterait donc en la correction de ces défauts. Pourront alors voir le jour des applications plus poussées de la RA, comme son intégration aux réseaux sociaux. Cela nous conduira vers une réelle intégration de cette technologie à nos quotidiens.

Notre rapport final suivra le plan suivant :

I. Fonctionnement de la Réalité Augmentée
1.1. Différents supports mobiles (existants et futurs)
1.2. Technologies utilisées (existantes et futures)
1.3. Mise en oeuvre

II. Limites de la Réalité Augmentée
2.1. Limites techniques
2.2. Satisfaction / Acceptation des utilisateurs

III. Applications mobiles de Réalité Augmentée
3.1. Pour le grand public
3.2. Pour les professionnels
3.3. Applications futures

 

Cet article est mis à disposition selon les termes de la Licence Creative Commons Attribution – Pas d’Utilisation Commerciale – Partage dans les Mêmes Conditions 3.0 France.

Réalité Virtuelle et Réalité Augmentée dans la représentation de la ville (Synthèse)

Dans ce dernier article, nous allons faire une brève synthèse des articles précédents et annoncer le plan que nous développerons dans notre rapport final.

Dans les 5 articles que nous avons publiés, nous avons à chaque fois traité d’un thème différent lié à l’utilisation de la Réalité Virtuelle ou de la Réalité Augmentée dans la ville. Chacun de ces articles avait pour but de dégager un enjeu et un public spécifique.

 

Dans le premier article nous abordé l’application de la Réalité Virtuelle et de la Réalité Augmentée dans le domaine historique à travers les exemples du projet Héritage 3D du Château de Vincennes ou encore du projet “Paris, la ville à remonter le temps”. Ce projet avait donc pour enjeu principal de promouvoir le patrimoine historique français et de créer un engouement chez les visiteurs. Celui-ci était donc principalement destiné au grand public.

Le second article traité de l’utilisation de la Réalité Augmentée dans le tourisme, notamment à Paris, Versailles ou encore Brocéliande. Le but était donc de proposer au visiteur une nouvelle approche de la découverte de la ville et se destinait donc encore une fois au grand public.

Le troisième article s’intéressait à l’utilisation de la Réalité Virtuelle et de la Réalité Augmentée comme une aide à la représentation et à la promotion dans les projets d’urbanisme. Les projets tels que Betaville ou encore celui du quartier de la Courrouze à Rennes étaient conçus pour que le grand public puisse donner son avis sur différentes décisions urbaines.

Le quatrième article abordait quant à lui la visualisation de données urbaines via la Réalité Virtuelle et la Réalité Augmentée avec d’une part le phénomène de convergence entre l’utilisation de ces technologies et les SIG, et d’autre part une application environnementale de par la visualisation de la concentration urbaine de CO2. Au cours de cet article nous avons donc plutôt dégagé un enjeu professionnel et scientifique à l’utilisation de ces technologies.

Enfin, le dernier article reprenait le thème de l’urbanisme mais en s’intéressant cette fois moins au côté promotionnel qu’au côté décisionnel notamment à travers différents exemples dans les villes du Havre ou de Lille. La Réalité Virtuelle permettait donc dans ces différents exemples d’assister les professionnels dans leur travail.

 

Le rapport final de notre projet va donc reprendre ces différents articles à travers le plan suivant :

1. Quelques définitions
A. Qu’est-ce que la Réalité Virtuelle
B. Qu’est-ce que la Réalité Augmentée
2. Une technologie au service des professionnels…
A. Un support de visualisation de données urbaines
B. Une aide à la décision
3. …mais aussi du grand public
A. Un outil important dans le domaine historique
B. Un catalyseur dans le domaine touristique
C. Une aide à la promotion dans les projets d’urbanisme

 

Vous trouverez notre rapport définitif en suivant ce lien : pvete12_rapport_virvil

 

Ce projet a été mené par Rémi Thang et Yohann Maury, élèves à l’Ecole Centrale de Nantes, et encadré par Myriam Servières, Maître de Conférences à l’Ecole Centrale de Nantes.

Licence Creative Commons
Cette œuvre est mise à disposition selon les termes de la Licence Creative Commons Attribution – Pas d’Utilisation Commerciale – Partage dans les Mêmes Conditions 3.0 France.

Dans quel SDK doit-on mettre les mains?

La fin des billets de blog est en vue, vous allez bientôt connaitre la valeur de retour de cette étude comparative des SDK appliqués à la réalité virtuelle

D’abord, résumons les différents SDK abordés:

Tableau récapitulatif des 5 SDK

Comparatif des SDK pour la RV
SDK
Logo Neoaxis
Neoaxis

Logo Ogre3d
Ogre3D

Logo Unity
Unity

Logo CryEngine
Cryengine

Logo OSG
OpenSceneGraph
Licences
$0 ou $95 à $295 env.

MIT

Propriétaire

0€* ou 20% de royalties

LGPL
Moteur 3D AAA+ AAA+ AAA+ AAA+ AA+
Moteur physique PhysX®, ODE Absent PhysX® Engine Natif Modulable
Rendu sonore 2D/3D, OGG, RTSound Absent FMOD, outils intégrés 2D/3D, natif, RTSound 2D/3D, OpenAL et FMOD
Réseau Oui Non Oui Oui Non
Sorties graphiques 3d, Web browser, 360° 3d, multi-écrans, 360° 3d, CAVE, holobench 3d, standards industriels 3d, multi-écran, CAVE
E/S utilisateurs

  • Joysticks
  • Wiimote
  • Kinect

A la charge des développeurs
  • Contrôleurs
  • Motion Control

  • Joypads (PlayStation)
  • Joysticks/Volants
  • Microsoft Kinect (R)

  • Joysticks
  • volants
  • Motion Control limité
GUI Editable via le SDK, in-game GUI S’interface avec MyGUI ou CEGUI Modulable avec UnityGUI Créées via le SDK Modulable avec Qt
Plateformes
  • Windows
  • MAC
  • Navigateur Web
  • iOS
  • Android
  • GNC
  • Windows
  • Mac
  • Android
  • iOS
  • Linux
  • GNC
  • Windows
  • Mac
  • Android
  • iOS
  • Linux
  • Navigateur Web
  • Flash
  • PS3
  • Xbox 360
  • Wii / WiiU
  • Windows
  • XBox
  • Playstation 3
  • Windows
  • GNU/Linux
  • MacOS/X
  • Android
Langages
  • C# scripts
  • Support libs C/C++
  • CORE
  • C++
  • C# scripts
  • Boo
  • Javascript
  • UnityScript
  • C/C++
  • Pas de script interne
  • C++

Synthèse de chaque SDK


  • Logo Neoaxis

    Neoaxis

    Un SDK très facile à prendre en main, avec de nombreuses possibilités et un large choix
    de sorties graphiques pour la RV, ainsi que des entrées/sorties utilisateurs variées.
    Son principal problème réside dans l’absence de versions autre que Windows et MAC (les version iOS, Android et GNC
    sont en développement, mais ne sont pas encore terminées).
    Cet inconvénient est compensé par une communauté très active sur le forum de Neoaxis, et
    par la sortie régulières de nouvelles versions et un fil d’actualités important.

    SDK Conseillé ! Avec un avenir prometteur.


  • Logo Ogre3d

    Ogre3D

    Ogre est un moteur 3D très utilisé et robuste, avec une communauté très active
    et une forte notiriété.
    Néanmoins, dans le cas de la RV, le temps de développement nécessaire avant de pouvoir l’utiliser est
    très long, ce qui nous amène plutôt à recommander l’usage d’un SDk basé sur Ogre au lieu d’utiliser directement Ogre.

    Moteur 3D déconseillé, les temps de développement étant trop longs.


  • Logo Unity

    Unity

    Ce SDk est très connu dans le monde du jeu vidéo et possède une grande notoriété.
    Il est adapté à la RV, avec une communauté active, mais il est handicapé
    par sa license, assez restrictive dans sa version gratuite et au coût de base
    prohibitif de $1500 pour la version commerciale.

    SDK envisageable, si on a des moyens et qu’on ne souhaite pas attendre que Neoaxis sorte en version Android/iOS.


  • Logo CryEngine

    Cryengine

    Magnifique. Aucun autre mot ne décrirait le rendu graphique réalisé par ce SDK. Les outils de développement
    sont nombreux et bien pensés. La notoriété de Crytek n’est plus à faire depuis
    ces dernières années (après la sortie de la série FarCry ou Crysis). De plus, ce SDK est utilisé dans certains
    logiciels d’architecture. Sa license est clairement orientée vers les jeux-vidéos commerciaux.

    SDK non recommandé pour la RV, mais à envisager pour le développement d’un jeu vidéo.


  • Logo OSG

    OpenSceneGraph

    Un SDK qui avait fait ses preuves… “dans le temps”!
    Aujourd’hui, la communauté est sur le déclin,
    et les dernières nouvelles dates souvent de plus d’un an. Le site n’est également pas le plus simple à prendre en
    mains au début. On remarquera quand même l’existence de livres sur ce SDK,
    ce qui souligne peut-être aussi la grande difficulté que l’on peut avoir à l’appréhender.

    SDK non-recommandé, en tous cas pour les néophytes. De plus, la faible activité de sa communauté
    risque de jouer sur sa durée de vie et sur sa capacité à suivre l’évolution des normes.

Résultat de l’étude

Le classement final des SDK est le suivant:

  1. Logo Neoaxis
    Neoaxis, si le besoin de déployer sur Android n’est pas pressé
  2. Logo Unity
    Unity, s’il faut déployer vite sur de nombreuses plateformes, même si c’est cher
  3. Logo Ogre3d
    Ogre3d, si on a du temps à perdre passer
  4. Logo OSG
    Open Scene Graph, si on est conservateur et qu’on n’a pas peur d’être seul
  5. Logo CryEngine
    CryEngine, si on veut développer un jeu (rien à voir avec la RV donc)

return (new Neoaxis());

Licence Creative Commons
Cette œuvre est mise à disposition selon les termes de la Licence Creative Commons Attribution – Partage dans les Mêmes Conditions 3.0 France.
Auteurs: MONIER Vincent, SFEIR Raphael

Le futur de la Réalité Augmentée

Que va-t-il advenir de la RA ? Va-t-elle envahir nos quotidiens ? Quelles sont ses perspectives d’évolution ? Telles sont les questions auxquelles nous tâcherons de répondre aujourd’hui.

Evolution des supports

Il n’est pas commode de tenir un smartphone ou une tablette à bout de bras pour agrémenter son environnement d’informations digitales. Passer dix minutes à positionner une caméra au-dessus d’un marqueur n’est pas pratique non plus. C’est pourquoi on imagine d’ores et déjà de nouveaux terminaux qui se feront oublier par l’utilisateur et lui permettront de profiter pleinement de la RA. Ces appareils plus immersifs et moins encombrants pourraient bien être les suivants :

  • Les lunettes 3D

Nous les avons déjà évoquées : il s’agit d’un projet développé par Google. Ces lunettes, munies d’un GPS, d’une connexion, d’une caméra et d’un petit écran pourront afficher des informations contextuelles en RA. Des exemplaires devraient être disponibles en 2013 (très prochainement !). Ceux-ci seront dans un premier temps destinés aux développeurs uniquement et vaudront 1500$ pièce. Mais que doit-on attendre de ces lunettes ? Vous trouverez ici une caricature fort sympathique.

  • Ondes cérébrales couplées à la RA

Nous n’en sommes qu’aux prémices des interfaces cérébrales. Mais une fois celles-ci efficaces, elle se verront certainement combinées à la RA. Imaginez : un architecte regarde un espace vide, il y imagine une construction, le plan de celle-ci est conçu au fur et à mesure de sa réflexion.

  • Des lentilles 3D

Le court-métrage “Sight” présente ce que pourrait être la RA du futur. Ici, il n’est pas question de lunettes mais de lentilles de contact. Celles-ci, équipées d’un micro-processeur assistent leur utilisateur dans ses activités quotidiennes : rendez-vous galant, préparation d’un plat, etc. Tel Edward dans Twilight, ce dispositif est aussi inquiétant que séduisant. Doit-on se préparer à l’intégrer à notre quotidien?

Cette invention des laboratoires du MIT date déjà de 2009. Elle n’en demeure pas moins proche de l’idée qu’on se fait du futur. En effet, lors d’une conférence TED, un parallèle a été fait entre ce prototype et l’interface manipulée par Tom Cruise dans Minority Report. Cette interface gestuelle portable (tel un vêtement) complète notre environnement avec des informations digitales manipulables grâce à des gestes naturels.

Evolution des usages

Aujourd’hui, les multinationales font preuve d’un fort engouement pour la RA. C’est pourquoi la plupart des applications mobiles de RA sont destinées à servir la société de consommation. Mais cet enthousiasme présente tout de même des effets positifs : il a permis de mettre en lumière la technologie de la RA, technologie qui présente aujourd’hui certaines défaillances. Lorsque le manque de précision, de performance et la complexité d’utilisation de la RA auront été corrigés, quels usages de la RA pourraient voir le jour ? Il pourrait s’agir des suivants :

  • Vie sociale
Réalité Augmentée et Réseaux Sociaux

Source : http://www.behance.net/gallery/Augmented-Reality-project/500265

Couplée avec la reconnaissance faciale et d’objets, l’association de la RA et des réseaux sociaux va bientôt nous permettre d’obtenir des informations sur les personnes qui nous entourent. En plaçant notre smartphone devant le visage d’une personne (connue ou inconnue) nous pourrons alors accéder à des données issues de ses profils sur différents réseaux.

  • Segmentation

La RA permet de diffuser une information ciblée, dans les supermarchés notamment. Imaginez : un client entre dans un magasin. Il dispose d’une application de RA développée par l’enseigne. Cette application, lorsqu’elle est pointée sur les articles, affiche alors des réductions et/ou offres ciblées.  En effet, auparavant, le client a fait des achats qui lui ont donné le droit d’en bénéficier.

  • La RA en ville

Comme nous avons pu le montrer, de nombreuses applications de la RA sont liées au tourisme ou au déplacement en ville.
On peut aisément imaginer que ces applications vont se développer et devenir la norme.
Malgré l’aspect plus personnel des guides touristiques, va-t-on assister à leur disparition au profit d’éléments augmentés ?
La même question se pose pour les plaques historiques en ville, on pourrait aisément remettre en cause leur authenticité.

La RA va certainement envahir nos terminaux numériques dans les années à venir, particulièrement nos mobiles.
Son développement est directement lié à la généralisation des smartphones. Mais pour tirer pleinement parti de la RA, ces terminaux vont devoir pallier aux limites techniques qui brident l’innovation dans la conception de nouvelles applications.

Cet article est mis à disposition selon les termes de la Licence Creative Commons Attribution – Pas d’Utilisation Commerciale – Partage dans les Mêmes Conditions 3.0 France.

Moteur ou SDK? réponse avec Ogre3D

Depuis le premier billet, on vous a surtout présenté des SDK. Cette-fois ci, intéressons-nous à un logiciel de plus bas niveau: le moteur 3D.
La plupart des SDK utilisent le même moteur, (ou un dérivé) : Ogre 3D.

L’étude du moteur sera effectuée selon les axes suivants :

Logo Ogre3d

Présentation générale et licences d’utilisation
Ogre (Object-Oriented Graphics Rendering Engine) est un moteur de rendu graphique gratuit, actuellement sous licence MIT.
Il est donc possible:

  • de télécharger gratuitement le moteur 3D compilé ou ses sources
  • d’éditer les sources, sans restriction de publication (elles peuvent être republiées sous licence MIT ou sous une autre licence, ou non publiées)
  • d’utiliser Ogre3D sans nécessairement devoir afficher son logo ou un splash screen au démarrage

La seule condition est de conserver, dans le logiciel construit à partir d’Ogre3D, un fichier contenant la licence MIT d’Ogre (et bien sûr, de ne pas “s’approprier” le travail de la communauté qui a développée Ogre).

Notez que cette licence assez permissive d’Ogre3D ne s’applique qu’à Ogre3D: elle ne s’appliquera pas forcément aux modules complémentaires que vous utiliserez.

Le moteur 3D et son rendu

Ogre3D est un des meilleurs moteurs du marché. Certainement le meilleur si on compare les moteurs gratuits entre eux. C’est simple: quasiment tous les moteurs 3D dits ‘gratuits’ sont des dérivés directs ou indirects d’Ogre.
Grâce à une communauté très dynamique, le moteur est souvent mis à jour, et il bénéficie ainsi de nombreuses avancées au moment même de leur mise sur le marché par les entreprises spécialisées dans les moteurs payants.
La démo officielle devrait d’ailleurs facilement vous convaincre de la puissance de rendu du moteur.

Un exemple de rendu du moteur Ogre3D

Un rendu d’Ogre 3D (SteamPunk Legend)
Motorm4x, jeu de voitures utilisant Ogre3D

Un 4×4 en action, rendu par Ogre3D (Motorm4x)

Les fonctionnalités offertes par Ogre3D
Ces fonctionnalités sont nombreuses, vous en trouverez la liste sur la page de présentation du moteur.
Parmi ces fonctionnalités graphiques, citons:

  • Texturing / Shaders:
    • Support des shaders (assembleur ou haut niveau) via Cg, DirectX9 HLSL ou GLSL
    • Multi-textures
    • Texcoords (modification en temps réel de la géométrie d’une texture)
    • Manipulations RGBA, permettant de modifier les couleurs et transparence d’une texture en temps réel
    • Prise en charge automatique du GPU (Ogre3D optimise votre code pour le GPU de la machine-hôte)
    • TLOD, permettant de simplifier le rendu d’une texture si la caméra est trop loin pour en voir les détails
    • Large support de formats d’images (png, jpg, tga, bmp, dds, textures 1d, textures volumétriques ou compressées)
    • Mise à jour en temps réel des textures (permettant d’afficher une vidéo dans la texture par exemple ou de changer une texture à la volée)
  • Modèles 3D:
    • Séparation sommets/faces/index pour plus de flexibilité
    • LOD progressifs (le modèle est simplifié de façon continue en fonction de la distance à la caméra), manuels ou automatiques
    • Support d’un format XML souple
    • Surfaces courbes (grâce aux surfaces bi-quadratiques de Bézier)
    • Animation:

    • Modèle ‘skeleton’ permettant d’animer un squelette qui sera appliqué sur un ou plusieurs modèles 3D
    • Fusion d’animations (avec une pondération) permettant de générer des animations complexes à partir d’animations simples, de base
    • Contrôle temps réel des bones pour réaliser des animations gérées en temps réelles et non plus afficher une animation pré-conçue
    • Morpho-animations pour les visages et les expressions
  • Libre choix dans le système de gestion de la scène 3D (octree, flat,…)
  • Effets spéciaux:
    • Billboards (une texture toujours affichée face à la caméra)
    • Particles (débris et éclats)
    • Ribbon trails (rubans pour, par exemple, un effet de fumée derrière un avion qui tourne)

Le moteur physique

Ogre3D n’est qu’un moteur graphique, il faudra donc lui adjoindre un moteur physique pour bénéficier d’effets de collision ou de gravité.
En disposant des sources du moteur, on peut considérer que n’importe quel moteur physique pourra être ajouté. Toutefois, il est recommandé de se tourner vers NVidia PhysX ou vers un équivalent open source, ODE (un peu moins performant ni complet).

Les rendus sonores

Là encore, Ogre3D pêche, puisqu’il ne dispose pas de système de rendu sonore. On pourra toutefois se tourner vers OpenAL, librairie audio en open-source.

La compatibilité réseau

Une fois de plus… rien.
Et, malheureusement, il n’existe pas de véritable “référence” open-source pour ce type de librairie. On pourra quand même se tourner vers:

Les sorties graphiques (stéréo-vision)

Cette-fois ci, Ogre3D a une longueur d’avance! En effet, en tant que moteur de rendu graphique, Ogre peut se permettre de négliger les librairies audio ou réseaux, mais il ne pouvait pas négliger les rendus 3D et stéréoscopiques.
Utilisé conjointement avec NVidia 3D vision, en réutilisant des plugins open-source comme OS3D ou bien en natif, la stéréo-vision (anaglyphe, stéréoscopique ou multiple-écrans) sera parfaitement prise en charge.

L’interface utilisateur (appliquée à la RV)

Via les sources d’Ogre, il sera possible d’implémenter ses propres entrées-sorties utilisateur, car rien ne permet cela nativement.
Étant donné que le code source d’Ogre est sous licence MIT et donc, disponible pour l’édition, il sera possible (mais certainement assez fastidieux) d’implémenter tout type d’entrée utilisateur, que ce soient des gants, des casques, des joysticks ou des souris 3D.

L’interface graphique (GUI)

Via CEGUI (LGPL) ou MyGUI (MIT), il est facile d’ajouter les interfaces graphiques que l’on souhaite.
Ces librairies permettront également des interfaces un peu plus poussées, mais il faudra alors étudier plus en détail leur documentation.

Les plateformes supportées (développement et déploiement)

Ogre supporte de très nombreuses plateformes, parmi lesquelles on pourra citer:

  • Windows (toutes versions confondues), sur Visual C++ ou Code::Blocks
  • Linux (gcc 3+)
  • MAC OSx (XCode)
  • NaCl
  • WinRT
  • Windows Phone 8
  • iOS
  • Android

De plus, Ogre3d s’adapte automatiquement au type de GPU et à la technologie 3D utilisée (OpenGL ou DirectX).

Les langages de programmation supportés

Ogre est codé en C++, et pourra donc être modifié selon les normes de ce langage.
De base, Ogre est le plus “compatible” possible: il sera donc intéressant de garder cette inter-opérabilité pendant toute la phase de développement, en évitant par exemple d’utiliser des librairies spécifiques à un OS particulier.

Synthèse du moteur

Ogre possède de nombreux avantages (licence MIT, C++, compatibilité, communauté active,…) mais il présente le gros défaut de n’être qu’un moteur de rendu graphique.
Il faudra donc se tourner vers des SDK pour des projets sur le long terme, ce qui évitera de dépenser trop d’énergie à comprendre
chacune des bibliothèques qu’il faut ajouter à Ogre pour l’enrichir de toutes les fonctionnalités non-graphiques dont il ne dispose pas.


Nom Ogre3D
Licence MIT
Moteur 3D Excellent
Très régulièrement mis à jour
Moteur physique Absent
Rendu sonore Absent
Réseau Absent
Sorties graphiques Au choix des développeurs
3D stéréo, anaglyphe, multi-écrans, 360°
E/S utilisateurs A la charge des développeurs
GUI S’interface avec MyGUI ou CEGUI
Plateformes Windows, Mac, Android, iOS, Linux, google native client…
Langages Code source libre
c++ (Visual studio, C::B, XCode…)

Licence Creative Commons
Cette œuvre est mise à disposition selon les termes de la Licence Creative Commons Attribution – Partage dans les Mêmes Conditions 3.0 France.
Auteurs: MONIER Vincent, SFEIR Raphael