ChatGPT peut désormais analyser les vidéos en direct : Comment ça fonctionne ?

Pour la fin d'année, OpenAI réserve des surprises à ses utilisateurs dans le cadre des "12 Days of OpenAI". Parmi les innovations les plus attendues, une nouvelle fonctionnalité révolutionnaire a été dévoilée : la capacité de ChatGPT à analyser des flux vidéo en direct depuis un smartphone. Actuellement disponible pour les abonnés premium, cette fonctionnalité sera bientôt déployée en Europe.

Une nouvelle ère d'interaction avec ChatGPT

Depuis le lancement du mode vocal avancé de GPT-4o en mai dernier, OpenAI avait laissé entendre que des fonctionnalités liées à la vidéo étaient en préparation. Désormais, c’est officiel. ChatGPT peut non seulement écouter et comprendre les commandes vocales, mais aussi "voir" et analyser des flux vidéo en temps réel.

Le fonctionnement est simple : l'utilisateur active l’option "mode vocal avancé", puis accède à un nouveau bouton vidéo. Ce bouton permet d’activer la caméra avant ou arrière de l'appareil. Dès lors, l'utilisateur peut filmer son environnement tout en interagissant avec l'IA.

Lors de la démonstration réalisée par OpenAI, ChatGPT a aidé un utilisateur à préparer un café. L'IA a reconnu les outils et ingrédients présents dans la cuisine et a fourni des instructions adaptées en fonction de ce qu'elle "voyait" à l'écran. Cette interaction s'apparente à un véritable appel vidéo avec un assistant intelligent.

Comment fonctionne le partage d’écran ?

La fonctionnalité de partage d'écran permet de filmer son environnement tout en dialoguant de manière naturelle avec ChatGPT. Voici le déroulement du processus :

1. Activation du mode vocal : L'utilisateur active le mode vocal avancé sur ChatGPT.
2. Lancement du mode vidéo : Un bouton vidéo apparaît, permettant d'activer la caméra avant ou arrière de l'appareil.
3. Interaction en temps réel : L'utilisateur peut montrer des objets, des environnements ou des situations à ChatGPT, qui les reconnaît et les analyse pour fournir des réponses adaptées.

Cette fonctionnalité permet de bénéficier d'une assistance en temps réel pour des tâches telles que la cuisine, la réparation d'appareils ou l'identification de produits.

Un changement majeur dans l'interaction homme-IA

Avec cette nouvelle fonctionnalité, OpenAI inaugure une nouvelle forme d’interaction entre les humains et l'IA. Les échanges ne se limitent plus aux textes ou aux commandes vocales. Désormais, il est possible de montrer des éléments concrets à ChatGPT, ce qui enrichit considérablement l’expérience utilisateur.

Imaginez les applications possibles :

• Assistance à domicile : Identifiez des objets, réparez des appareils ou organisez des espaces.
• Apprentissage et éducation : Recevez des leçons interactives où ChatGPT répond à ce que vous montrez.
• Avis sur les produits : Montrez des produits en direct à ChatGPT et obtenez des détails ou des comparaisons.

Cette évolution transforme ChatGPT d'un simple chatbot en un véritable "assistant visuel" capable de fournir une assistance en temps réel.

Quand sera-t-elle disponible ?

Actuellement, la fonctionnalité est disponible pour les abonnés premium, mais OpenAI a confirmé qu'elle sera bientôt accessible aux utilisateurs européens. Cette décision s’inscrit dans la stratégie globale d’OpenAI visant à proposer des outils d’IA de pointe à un public international.

La capacité de partager son environnement avec ChatGPT propulse l’interaction homme-IA à un tout autre niveau. De l'assistance aux tâches du quotidien à la fonction de guide visuel, ChatGPT devient bien plus qu'un simple chatbot. Il se transforme en assistant visuel prêt à intervenir en temps réel.