Points essentiels à retenir
- Le modèle d’intelligence artificielle de Google, Gemini, se décline en trois versions : Ultra, Pro et Nano. Chacune est conçue pour des tâches spécifiques et des niveaux de complexité différents.
- Gemini Ultra affiche des résultats prometteurs lors de tests d’IA importants. Cependant, il n’est pas encore accessible au public depuis décembre 2023. Google prévoit sa disponibilité en janvier 2024.
- Gemini Pro est disponible et fonctionne correctement, mais ne surpasse pas encore GPT-4.
Google a toujours affirmé que son IA Gemini serait supérieure à GPT-4 d’OpenAI, le modèle qui propulse ChatGPT Plus. Avec le lancement de Google Gemini, il est enfin possible de comparer les deux modèles.
Lors du lancement de Bard en mars 2023, l’enthousiasme était palpable. On espérait voir la fin du monopole de ChatGPT par OpenAI et une concurrence plus équitable.
Cependant, Bard n’a pas atteint les performances espérées, et GPT-4 demeure la plateforme de chatbot génératif d’IA dominante. Gemini est désormais disponible, mais la question demeure : est-il à la hauteur de ChatGPT ?
Qu’est-ce que le modèle d’IA Gemini de Google ?
Gemini est le modèle d’IA générative le plus avancé de Google, conçu pour traiter divers formats de données tels que le texte, l’audio, les images et les vidéos. Il s’agit de la tentative de Google de créer un modèle d’IA unifié, exploitant les capacités de ses technologies les plus performantes. Gemini sera proposé en trois versions :
Sur son blog officiel, Google indique que Gemini Ultra surpasse l’état de l’art dans de nombreux benchmarks. Google affirme que Gemini Ultra bat le leader du secteur, GPT-4, dans plusieurs tests clés.
Avec un score de 90,0 % au benchmark MMLU, Google affirme que Gemini Ultra est le premier modèle à dépasser les performances humaines dans ce test évaluant 57 sujets différents.
Gemini Ultra peut également comprendre, expliquer et générer du code de haute qualité dans des langages de programmation populaires, tels que Go, JavaScript, Python, Java et C++. Sur le papier, les résultats sont impressionnants. Cependant, les benchmarks ne suffisent pas toujours à évaluer les performances réelles. Comment Gemini se comporte-t-il dans des situations concrètes ?
Comment utiliser l’IA Google Gemini
Parmi les trois versions de Gemini, vous pouvez dès maintenant utiliser Gemini Pro, disponible sur le chatbot Bard de Google. Pour cela, rendez-vous sur bard.google.com et connectez-vous avec votre compte Google.
Google prévoit le déploiement de Gemini Ultra en janvier 2024. Nous avons donc limité nos tests à une comparaison entre Gemini Pro et ChatGPT pour le moment.
Comparaison entre Gemini, GPT-3.5 et GPT-4
Lorsqu’un nouveau modèle d’IA est lancé, il est souvent comparé aux modèles GPT d’OpenAI, considérés comme des références. Ainsi, nous avons testé les capacités de Gemini (via Bard) et celles de ChatGPT en mathématiques, écriture créative, génération de code et interprétation d’images.
Nous avons commencé par une simple question mathématique : -1 x -1 x -1.
Bard a été le premier à répondre. Après deux tentatives infructueuses, il a donné la bonne réponse à la troisième, ce qui n’est pas idéal.
ChatGPT, avec GPT-3.5, a donné la bonne réponse dès la première tentative.
Pour évaluer l’interprétation d’images par Gemini, nous lui avons demandé d’analyser des mèmes populaires. Il a refusé, indiquant qu’il ne pouvait pas interpréter des images contenant des personnes. ChatGPT, avec GPT-4V, a effectué cette tâche avec succès.
Nous avons testé une autre image pour évaluer sa capacité à résoudre des problèmes et à coder. Nous avons fourni à Bard (Gemini Pro) une capture d’écran et lui avons demandé d’interpréter et de générer du code HTML et CSS pour la reproduire.
Voici la capture d’écran source.
Voici la tentative de Gemini Pro de reproduire la capture d’écran avec HTML et CSS.
Et voici la tentative de GPT-4, qui n’est pas surprenante compte tenu de ses excellentes performances en codage. Nous avons déjà démontré la capacité de GPT-4 à créer une application web de A à Z.
Nous avons ensuite demandé à Gemini Pro de rédiger un poème sur Tesla (la marque de véhicules électriques). Ses performances se sont légèrement améliorées par rapport aux tests précédents. Voici le résultat :
Nous avons jugé plus pertinent de comparer ces résultats avec GPT-3.5 plutôt qu’avec GPT-4. Nous avons donc demandé à ChatGPT (GPT-3.5) de créer un poème similaire.
C’est une question de préférence personnelle, mais le poème de Gemini Pro semble légèrement supérieur. Nous vous laissons juge.
Gemini est-il meilleur que ChatGPT ?
Avant le lancement de Bard, nous espérions qu’il serait un concurrent de taille pour ChatGPT. Cela n’a pas été le cas. Avec l’arrivée de Gemini, et malgré les performances de Gemini Pro, ce dernier ne semble pas encore en mesure de détrôner ChatGPT.
Google promet que Gemini Ultra sera bien plus performant. Nous espérons sincèrement que ce sera le cas et qu’il confirmera, voire dépassera, les affirmations faites lors de son annonce. Tant que nous n’aurons pas testé la version la plus aboutie de l’IA générative de Google, il sera difficile de déterminer si elle peut surpasser les autres modèles concurrents. Actuellement, GPT-4 demeure le leader incontesté.