Réalité augmentée et IA : quand la caméra comprend ce qu'elle voit

Pendant des années, la réalité augmentée a surtout su faire une chose : comprendre la géométrie d'une pièce. Le téléphone détecte le sol, une table, un mur, et on y pose un objet virtuel qui tient en place quand on se déplace. C'est déjà utile pour visualiser un meuble ou une machine à l'échelle. Mais le téléphone ne savait pas ce qu'il regardait. Une table restait un plan horizontal, une pompe industrielle un volume parmi d'autres.

C'est ce point qui bouge depuis deux ans. Les modèles d'IA dits multimodaux, capables de traiter à la fois des images, du texte et de la voix, donnent à la caméra une forme de compréhension. Le dispositif ne voit plus seulement des surfaces, il identifie des objets, lit du texte et peut répondre à une question posée à voix haute sur ce qu'il a sous les yeux.

De la géométrie au sens

Concrètement, la réalité augmentée classique répond à la question « où ? ». Où est le sol, où placer l'objet, comment le garder stable. L'IA ajoute la question « quoi ? ». Quelle machine est devant moi, quelle pièce est défectueuse, quel bouton faut-il presser maintenant.

Cette combinaison ouvre des usages qui demandaient auparavant des marqueurs collés partout ou des modèles 3D préparés à l'avance pour chaque équipement. Un technicien peut pointer son téléphone vers un tableau électrique et voir s'afficher le bon schéma. Un visiteur de musée peut regarder une œuvre et obtenir une explication adaptée à son âge. Un vendeur peut montrer un produit et laisser le client poser ses questions librement.

Les lunettes reviennent, cette fois pour de bon ?

Le matériel suit. Après les casques de réalité mixte haut de gamme, les lunettes connectées ont fait un retour remarqué, avec des modèles grand public capables de filmer, d'écouter et, pour les plus récents, d'afficher une information directement dans le verre. Les grandes plateformes ont toutes un projet de lunettes ou de système d'exploitation dédié à ce format.

Il faut rester lucide : ces lunettes affichent encore peu de choses, l'autonomie reste courte et leur usage en entreprise pose des questions de confidentialité qu'on ne peut pas ignorer. Pour un projet lancé aujourd'hui, le smartphone et la tablette restent le support le plus sûr, et la réalité augmentée dans le navigateur, sans application à installer, reste le moyen le plus simple de toucher un large public. Les lunettes sont à suivre de près, en prévoyant des contenus qui pourront y être portés plus tard.

Là où l'association fonctionne déjà

• Maintenance et intervention : l'appareil reconnaît l'équipement, affiche la procédure étape par étape au bon endroit et peut vérifier qu'une étape a bien été faite.
• Formation sur poste : l'apprenant manipule le vrai matériel, guidé par des repères visuels, avec un assistant qui répond à ses questions sans qu'il ait à lâcher l'outil.
• Visite et médiation culturelle : l'œuvre ou le site est reconnu sans QR code, et le contenu s'adapte au visiteur.
• Vente et salon : le produit se montre en grandeur réelle et le client peut l'interroger, ce qui prolonge le discours commercial.

Les précautions qui font la différence

Un assistant qui se trompe sur une procédure de maintenance n'est pas un détail. Pour les usages sérieux, nous ne laissons pas un modèle généraliste inventer ses réponses : il s'appuie sur la documentation réelle de l'entreprise, avec une méthode du type RAG qui va chercher l'information dans les sources validées et cite d'où elle vient. Les étapes critiques restent décrites par des experts, l'IA sert à reconnaître la situation et à retrouver le bon contenu.

Il faut aussi penser aux conditions réelles. Un atelier mal éclairé, un réseau absent au fond d'un bâtiment, des gants qui empêchent de toucher l'écran : ce sont ces contraintes qui décident du succès, bien plus que la démonstration en salle de réunion. Nous les testons sur le terrain avant de valider une approche.

En résumé

La réalité augmentée change de nature quand l'IA lui permet de comprendre ce que voit la caméra. On passe d'objets posés dans l'espace à une aide qui reconnaît une situation et y répond. Les lunettes rendront un jour cette aide plus naturelle, mais les projets les plus solides se construisent dès maintenant sur smartphone et tablette, avec une IA tenue par des contenus fiables et testée dans les vraies conditions d'usage.