L’IA Gemini de Google est là, mais est-elle meilleure que ChatGPT ?

Points clés à retenir

  • Le modèle d’IA de Google, Gemini, comporte trois variantes, Ultra, Pro et Nano, axées sur différentes tâches et niveaux de complexité.
  • Gemini Ultra montre des résultats prometteurs sur les principaux tests d’IA, mais, depuis décembre 2023, il n’est pas disponible pour un usage public. Google indique qu’il devrait être disponible en janvier 2024.
  • Gemini Pro est disponible et bien qu’il fonctionne plutôt bien, il ne parvient pas à détrôner GPT-4 pour le moment.

Google a toujours promis que son modèle Gemini AI serait meilleur que le GPT-4 d’OpenAI, le modèle qui alimente ChatGPT Plus. Maintenant que Google Gemini est lancé, nous pouvons enfin le tester et voir comment Gemini se compare à GPT-4.

Lorsque Google a lancé Bard en mars 2023, il y avait de nombreuses raisons d’être enthousiasmé. Enfin, le monopole ChatGPT d’OpenAI serait brisé et nous aurions une concurrence digne.

Mais Bard n’a jamais été le titan de l’IA que l’on espérait, et GPT-4 reste la plateforme dominante de chatbot génératif d’IA. Maintenant, le Gemini de Google est là, mais le modèle d’IA tant attendu est-il meilleur que ChatGPT ?

Qu’est-ce que le modèle d’IA Gemini de Google ?

Gemini est le modèle d’IA générative le plus performant de Google, capable de comprendre et de fonctionner sur différents formats de données, notamment le texte, l’audio, l’image et la vidéo. Il s’agit de la tentative de Google de créer un modèle d’IA unifié tirant les capacités de ses technologies d’IA les plus performantes. Gemini sera disponible en trois variantes :

  • Gemini Ultra : la variante la plus grande et la plus performante conçue pour gérer des tâches très complexes.
  • Gemini Pro : le meilleur modèle pour évoluer et offrir des performances élevées sur un large éventail de tâches, mais moins performant que Ultra.
  • Gemini Nano : le modèle le plus efficace conçu pour le déploiement de tâches sur l’appareil. Par exemple, les développeurs peuvent utiliser Gemini Nano pour créer des applications mobiles ou des systèmes intégrés, apportant ainsi une IA puissante dans l’espace mobile.
  • Sur son blog officiel, Le mot-clé, Google affirme que Gemini Ultra surpasse l’état de l’art dans plusieurs benchmarks. Google affirme que Gemini Ultra bat le GPT-4, leader du secteur, dans plusieurs tests clés.

    Avec un score sans précédent de 90,0 % au rigoureux benchmark MMLU, Google affirme que Gemini Ultra est le premier modèle à surpasser les performances au niveau humain sur ce test à multiples facettes couvrant 57 sujets.

    Google

    Gemini Ultra peut également comprendre, expliquer et générer du code de haute qualité dans certains des langages de programmation les plus populaires au monde, notamment Go, JavaScript, Python, Java et C++. Sur le papier, ce sont tous d’excellents résultats. Mais ce sont tous des points de repère, et les points de repère ne racontent pas toujours toute l’histoire. Alors, dans quelle mesure Gemini réussit-il dans les tâches du monde réel ?

    Comment utiliser l’IA Google Gemini

    Parmi les trois variantes du modèle Gemini AI, vous pouvez commencer à utiliser Gemini Pro dès maintenant. Gemini Pro est actuellement disponible sur le chatbot Bard de Google. Pour utiliser Gemini Pro avec Bard, rendez-vous sur bard.google.com et connectez-vous avec votre compte Google.

    Google indique que Gemini Ultra sera déployé en janvier 2024, nous avons donc dû nous contenter de tester Gemini Pro contre ChatGPT pour le moment.

    Comment Gemini se compare à GPT-3.5 et GPT-4

    Lorsqu’un nouveau modèle d’IA est lancé, il est testé par rapport aux modèles d’IA GPT d’OpenAI, qui sont généralement acceptés comme le modèle de pointe auquel les autres modèles devraient être confrontés. Ainsi, en utilisant Bard et ChatGPT, nous avons testé les capacités de Gemini en mathématiques, en écriture créative, en génération de code et en traitement précis des entrées d’images.

    En commençant par la question mathématique la plus simple à laquelle nous pouvions penser, nous avons demandé aux deux chatbots de résoudre : -1 x -1 x -1.

    Bard est parti le premier. Nous avons répété la question deux fois, revenant tous avec de mauvaises réponses. Nous avons obtenu la réponse à la troisième tentative, mais cela ne compte pas.

    Nous avons essayé ChatGPT fonctionnant sur GPT-3.5. Le premier essai a donné raison.

    Pour tester les capacités d’interprétation d’images de Gemini, nous lui avons demandé d’interpréter certains mèmes populaires. Il a refusé, affirmant qu’il ne pouvait pas interpréter les images contenant des personnes. ChatGPT, exécutant GPT-4V, était disposé et capable de le faire parfaitement.

    Nous avons essayé une autre tentative pour lui faire interpréter une image tout en testant sa capacité à résoudre des problèmes et à coder. Nous avons donné à Bard, exécutant Gemini Pro, une capture d’écran et lui avons demandé d’interpréter et d’écrire du code HTML et CSS pour reproduire la capture d’écran.

    Voici la capture d’écran source.

    Vous trouverez ci-dessous la tentative de Gemini Pro d’interpréter et de reproduire la capture d’écran en utilisant HTML et CSS.

    Et voici la tentative de GPT-4 de reproduire la capture d’écran. Le résultat n’est pas surprenant, étant donné que GPT-4 a toujours été performant en matière de codage. Nous avons déjà démontré l’utilisation de GPT-4 pour créer une application Web à partir de zéro.

    Nous avons demandé à Gemini Pro de créer un poème sur Tesla (la marque de véhicules électriques). Il a montré des améliorations marginales par rapport aux tests précédents que nous avons effectués dans le passé. Voici le résultat :

    À ce stade, nous avons pensé qu’il serait plus approprié de comparer les résultats avec GPT-3.5 plutôt qu’avec le GPT-4 suralimenté. Nous avons donc demandé à ChatGPT exécutant GPT-3.5 de créer un poème similaire.

    C’est peut-être un choix personnel, mais la vision de Gemini Pro semble meilleure. Mais nous vous laissons juger.

    Gemini est-il meilleur que ChatGPT ?

    Avant que Google ne lance Bard, nous pensions que ce serait le concours ChatGPT que nous attendions – ce n’était pas le cas. Maintenant, Gemini est là, et jusqu’à présent, Gemini Pro ne semble pas être le modèle pour donner à ChatGPT le coup de grâce.

    Google dit que Gemini Ultra sera bien meilleur. Nous espérons sincèrement que c’est le cas et qu’il répondra ou dépassera les affirmations faites dans l’annonce de Gemini Ultra. Mais tant que nous n’aurons pas vu et testé la meilleure version de l’outil d’IA générative de Google, nous ne saurons pas s’il peut renverser les autres modèles d’IA concurrents. Dans l’état actuel des choses, GPT-4 reste le champion incontesté des modèles d’IA.

    x