Grok : le chatbot de X désormais capable d'analyser des images

xAI, l'entreprise fondée par Elon Musk, a récemment amélioré son agent conversationnel Grok pour inclure des capacités de modèle multimodal de première génération, en particulier dans le traitement et l'analyse des images. Cette avancée place Grok au niveau de ses concurrents comme ChatGPT, dans le but d'offrir une expérience utilisateur plus dynamique et interactive.

‍

Traitement innovant des images dans l'IA conversationnelle

La dernière version de Grok, le Grok-1.5V, permet désormais de traiter une large gamme d'informations visuelles, y compris des documents, des diagrammes, des captures d'écran et des photos. Cet avancement est conçu pour augmenter la compréhension du monde physique par le chatbot, améliorant ainsi son interaction avec les utilisateurs. Cette capacité s'étend à la création de récits à partir de dessins d'enfants, à l'interprétation de mèmes et même à la programmation à partir de diagrammes.

‍

Évaluation des capacités améliorées de Grok

Pour quantifier ces avancements, xAI a utilisé RealWorldQA, un benchmark développé en interne destiné à évaluer la compréhension spatiale dans les modèles multimodaux. Grok aurait excellé dans ce benchmark, atteignant un taux de précision de 68,7 % dans la compréhension et la réponse aux questions basées sur le contenu visuel, surpassant le taux de précision de 61,4 % du modèle GPT-4 de ChatGPT.

‍

Accessibilité limitée et perspectives d'avenir

Malgré ces avancées technologiques, Grok reste partiellement exclusif, disponible uniquement pour les abonnés du niveau le plus cher, Premium +, sur la plateforme X. Cependant, les politiques récentes de X suggèrent une possible extension de l'accès. Depuis début avril, les niveaux Premium et Premium +, qui incluent la version expérimentale de Grok, ont été rendus gratuits pour les comptes influents, laissant présager une stratégie pour stimuler l'engagement des utilisateurs et la pénétration du marché.