Meta vient de doter ses lunettes intelligentes d'une IA interagissant en temps réel via les caméras

Les lunettes semblent devenir l’un des supports les plus adaptés pour intégrer et exploiter l’intelligence artificielle. Chez Meta, l’entreprise vient d’enrichir les fonctionnalités du modèle Ray-Ban Meta avec l’IA. L’objectif est de permettre une interaction plus intuitive et immédiate avec l’utilisateur.

Les lunettes intelligentes sont-elles la prochaine étape logique dans l’évolution des technologies mobiles ? Quoi qu’il en soit, Meta y croit. « Nous considérons les lunettes comme l’évolution naturelle des plateformes informatiques mobiles d’aujourd’hui », écrit Andrew Bosworth, directeur technique de l’entreprise, dans un billet de blog.

Par ailleurs, les lunettes intelligentes Ray-Ban Meta font partie des rares modèles ayant rencontré un franc succès sur le marché. Selon EssilorLuxottica, propriétaire de la marque Ray-Ban, elles figurent même parmi les meilleures ventes dans la majorité des magasins implantés en Afrique, en Europe et au Moyen-Orient.

Lundi dernier, Meta a annoncé d’importantes mises à jour pour ces produits. Toutefois, ces nouvelles fonctionnalités ne seront accessibles que pour certains utilisateurs en Amérique du Nord. Il s’agit de la fonction « Live AI », qui permet une analyse vidéo en temps réel tout en échangeant avec l’assistant IA de Meta, ainsi que de la fonctionnalité de traduction, qui interprète instantanément les propos d’un interlocuteur.

Un traitement en temps réel du flux vidéo

Live AI permet aux utilisateurs d’interagir de manière fluide avec l’assistant Meta AI. Ce dernier conserve en mémoire les sujets abordés dans la conversation, autorisant ainsi des échanges continus et cohérents. Il est possible d’interrompre l’assistant à tout moment pour poser une question ou changer de sujet.

Cependant, l’une des capacités notables de Live AI réside dans le traitement du flux vidéo en temps réel. Le système analyse ce que la caméra des lunettes capte et y apporte une réponse appropriée. Outre les commandes vocales, l’IA peut donc « voir » et interpréter l’environnement de l’utilisateur. Par exemple, face à une œuvre d’art, il devient possible de demander à l’assistant des informations sur l’artiste, l’époque de création ou le contexte historique de l’œuvre.

Meta indique que, dans un futur proche, l’IA sera en mesure de formuler des suggestions proactives, sans sollicitation de l’utilisateur. La nature exacte de ces recommandations reste encore floue, mais l’on peut imaginer des informations contextuelles adaptées à la situation.

Cette nouveauté intervient quelques jours après que Google a présenté un prototype de lunettes dotées d’une IA multimodale dans le cadre de son projet Astra. Celles-ci se distinguent par l’intégration d’un mini-projecteur transformant les verres en écran d’affichage. Leur date de sortie reste toutefois inconnue.

Voir aussi

Une traduction en temps réel des conversations

L’autre innovation dévoilée par Meta concerne la traduction instantanée. Cette fonctionnalité permet de traduire des conversations en temps réel entre l’anglais et trois autres langues : le français, l’espagnol et l’italien. Lorsqu’un utilisateur dialogue avec un interlocuteur s’exprimant dans l’une de ces langues, le système retransmet la traduction en anglais via les haut-parleurs des lunettes. Une transcription écrite est également envoyée sur le smartphone connecté à l’appareil.

Meta reconnaît que ces nouvelles fonctionnalités pourraient encore présenter des dysfonctionnements. L’entreprise affirme cependant s’engager à les perfectionner en fonction des retours des utilisateurs et des données collectées sur leurs performances.

À noter que ces mises à jour sont pour l’heure réservées aux propriétaires américains et canadiens participant au « programme d’accès anticipé ». Elles nécessitent une mise à jour vers le logiciel V11. En revanche, l’ensemble des utilisateurs bénéficiera d’une nouvelle fonction de recherche musicale, semblable à « Shazam ».