Table des matières
Points clés à retenir
- Le Chat, un chatbot IA de Mistral AI, est prometteur mais est en retard sur ChatGPT en termes de créativité et de compétences en programmation.
- Les capacités de codage de Le Chat sont inférieures à celles de ChatGPT, échouant aux tâches de base, mais il excelle dans le raisonnement de bon sens.
- Bien que Le Chat puisse avoir du potentiel, il doit être affiné davantage avant de rivaliser avec les meilleurs chatbots IA comme ChatGPT.
Le Chat de Mistral gagne du terrain au sein de la communauté des chatbots IA, certains observateurs le qualifiant de rival potentiel de ChatGPT.
Mais ce tout nouveau chatbot IA vaut-il vraiment ce titre ? Le Chat de Mistral est-il meilleur que ChatGPT ?
Qu’est-ce que Le Chat de Mistral AI ?
Le Chat est un chatbot d’IA conversationnel développé par la startup française d’IA Mistral AI. Il est alimenté par plusieurs grands modèles de langage appartenant à Mistral, notamment Mistral Large, Mistral Small et Mistral Next, que vous pouvez tous choisir d’utiliser lorsque vous interagissez avec le chatbot IA. Bien qu’il s’agisse d’un entrant relativement nouveau dans le domaine des chatbots IA, il est très bien noté en raison des performances de ses modèles d’IA malgré leur taille plus petite par rapport aux poids lourds de l’industrie comme Gemini et GPT-4.
Pour comprendre ce que cela signifie, imaginez que vous jouez avec des blocs de construction. Plus vous avez de blocs, plus vous pouvez construire des structures complexes et détaillées, n’est-ce pas ? Les modèles de langage AI sont un peu comme ça. Ils existent en tailles, généralement exprimées en nombre de paramètres. Ainsi, vous avez peut-être entendu des termes tels que « paramètres 7B » ou « paramètres 70B » dans les modèles d’IA. Le nombre de paramètres est comme le nombre d’éléments de base que le modèle doit comprendre et générer des réponses. Ainsi, si un modèle de langage comporte plus de paramètres, il peut comprendre et générer des réponses plus complexes et meilleures.
Aujourd’hui, alors que GPT-4 possède environ 1 760 milliards de paramètres, celui de Mistral AI est estimé entre 7 et 56 milliards de paramètres. Vous voyez la différence de taille ? Ainsi, la capacité de Mistral AI à afficher des performances décentes est l’une des raisons de ce battage médiatique.
Bien que Le Chat ne bénéficie pas du niveau de publicité dont bénéficie ChatGPT ni de la valeur de la marque de sociétés comme Gemini, il s’est frayé un chemin dans la conversation chaque fois qu’un potentiel concours ChatGPT est évoqué. Mais mérite-t-il une place sur la table ?
Je me pose la même question, et pour le savoir, j’ai testé Le Chat de manière approfondie pour voir comment il se compare à ChatGPT.
Le Chat vs ChatGPT : Créativité
La créativité est l’une des mesures les plus importantes pour juger des performances d’un chatbot IA conversationnel. N’oubliez pas que le but d’un chatbot IA est de reproduire ou d’imiter les capacités conversationnelles et le flair créatif des humains à grande échelle. Cela fait de la créativité un atout très important pour tout chatbot IA. Le monde expérimente ChatGPT depuis plus d’un an et ses capacités créatives sont indéniables. Mais comment Le Chat se compare-t-il ? Nous soumettons les deux chatbots à une série de tests de créativité.
J’ai commencé par demander aux deux chatbots : « Comment vous décririez-vous à un artiste ? tester leur capacité à utiliser des mots créatifs et imaginatifs pour se conceptualiser.
Voici comment ChatGPT se décrirait à un artiste :
Et voici comment Le Chat se décrirait également :
Les deux réponses étaient appropriées à leur manière. ChatGPT était davantage investi dans l’utilisation d’images et de métaphores vives pour se décrire, démontrant ainsi son talent créatif. D’un autre côté, la réponse de Le Chat est très informative et axée sur la description de son essence en tant que chatbot IA. Certains diront peut-être qu’il manque du flair créatif et de l’approche artistique dont fait preuve la réponse de ChatGPT. Cependant, je vais prendre des risques en disant que je préfère la réponse plus facile à imaginer de Le Chat à la description abstraite de ChatGPT.
J’ai ensuite demandé à ChatGPT et Le Chat d’écrire une chanson de rap sur le thème de la richesse grâce à la culture des concombres – une demande délicate que nous avons utilisée pour tester la créativité d’autres chatbots. Combien de chansons de rap pouvez-vous trouver sur le Web sur les concombres ?
Voici la réponse de ChatGPT :
Et voici la réponse de Le Chat :
Il s’agit peut-être d’un problème subjectif, mais la réponse de ChatGPT semble être la meilleure option ici. Les paroles de Le Chat semblaient assez verbeuses et ne ressemblaient pas vraiment à celles d’un rappeur. Pour tester le son des deux paroles si elles devaient être transformées en musique, nous avons utilisé le générateur de musique Suno AI pour générer de la musique à partir des paroles. Trois essais sur trois, les paroles de ChatGPT sonnaient bien mieux. Vous trouverez ci-dessous deux exemples des deux chatbots IA, vous pouvez juger quel chatbot a fait le mieux.
Échantillons générés à partir des paroles de ChatGPT
Échantillon 1 :
Échantillon 2 :
Échantillons générés à partir des paroles de Mistral Le Chat
Échantillon 1 :
Échantillon 2 :
J’ai essayé quelques autres tâches créatives, comme des poèmes, la rédaction d’articles et la rédaction d’e-mails de travail délicats avec les chatbots IA. Malgré de grandes promesses, Le Chat a été clairement surpassé par ChatGPT dans tous les cas. Il est important de souligner qu’un domaine dans lequel Le Chat était particulièrement fort était la rédaction d’articles, bien qu’avec des styles d’incitation délicats. Cependant, en termes de créativité tous azimuts, la médaille revient à ChatGPT.
Le Chat vs ChatGPT : compétences en programmation
La maîtrise du codage est devenue une exigence clé pour les principaux chatbots IA. Écrire un code décent est une compétence de base, mais pour vraiment se démarquer parmi l’élite, un chatbot IA doit démontrer ses prouesses dans la création de code capable de résoudre efficacement un large éventail de problèmes complexes. Nous avons déjà créé une application Web complète à partir de zéro en utilisant ChatGPT, ce qui démontre ses capacités remarquables en tant qu’outil de programmation. Mais dans quelle mesure Le Chat est-il doué pour écrire du code ?
J’ai chargé les deux chatbots d’écrire une application simple de liste de tâches en utilisant CSS, HTML et JavaScript. ChatGPT n’a eu aucune difficulté à produire de bons résultats. J’ai copié le code généré et l’ai prévisualisé sur un navigateur, et voici ce que ChatGPT a créé :
Chaque fois que nous répétions l’invite, ChatGPT créait une application de liste de tâches fonctionnelle en utilisant différents styles. En aucun cas, le code généré n’a échoué à fonctionner.
Lorsque j’ai essayé la même invite avec Le Chat, cela a généré ce qui semblait être un code intelligible, mais lorsque nous avons essayé de l’exécuter sur un navigateur, il n’était pas fonctionnel. Après avoir répété l’invite trois fois, aucune instance n’a produit de code capable de terminer la tâche définie. Il a échoué dans l’une des tâches de codage les plus élémentaires : drapeau rouge !
Bien entendu, je ne jugerai pas Le Chat sur un seul test raté. Ensuite, j’ai demandé aux deux chatbots de générer du code JavaScript et PHP pour crypter et déchiffrer le texte. Dans ce deuxième test, ChatGPT et Le Chat ont produit un code fonctionnel capable d’effectuer la tâche définie. Cependant, la version de Le Chat ressemblait à ce qu’écrirait un programmeur débutant inexpérimenté. Le code de ChatGPT, en revanche, était plus complet et semblait avoir été écrit par un programmeur expérimenté.
J’ai répété quelques tests de programmation supplémentaires impliquant la recherche et la correction de bugs, et ChatGPT a systématiquement surpassé Le Chat. Dans certains cas, Le Chat ne savait même pas ce qu’il était censé faire. Il y a de fortes chances que Le Chat puisse se mesurer à ChatGPT dans certains domaines, mais les compétences en codage ne semblent pas en faire partie.
Le Chat vs. ChatGPT : Bon sens et raisonnement logique
Une particularité intéressante des chatbots IA est leur capacité à résoudre facilement des tâches complexes, mais à échouer dans des tâches simples qui nécessitent du bon sens pour être accomplies. De nombreux chatbots, qu’ils soient établis comme ChatGPT ou nouveaux arrivants comme Le Chat, ont du mal à résoudre des tâches nécessitant du bon sens et un raisonnement logique à la manière humaine. Alors, comment Le Chat et ChatGPT se comparent-ils sur ce front ?
J’ai demandé aux deux chatbots : « Si vous avez une bouteille de 3 litres et une bouteille de 5 litres. Comment mesurer 4 litres d’eau en utilisant les bouteilles de 3 litres et de 5 litres ?
ChatGPT a résolu le problème avec brio :
Le Chat a tenté la même tâche et a réussi à résoudre le problème, bien qu’en utilisant une approche différente.
Les deux chatbots ont obtenu des résultats comparables lors de ce test.
Ensuite, nous avons posé une question piège aux deux chatbots : « Si un vaisseau spatial en provenance de Mars se brise en deux, avec une partie s’écrasant dans l’océan Atlantique près du Brésil et l’autre dans l’océan Pacifique près du Japon, où enterrez-vous les survivants ?
ChatGPT a compris la supercherie et a répondu en conséquence :
Le Chat a également pu voir à travers la supercherie et a également répondu en conséquence :
J’ai essayé d’autres questions pièges, et il semble que ChatGPT et Le Chat soient tous deux très doués pour gérer les invites de bon sens et de raisonnement logique. Cependant, avec des questions logiques plus complexes, seul ChatGPT pouvait apporter les bonnes réponses.
Bien que Le Chat ait généré un certain buzz en tant que « tueur potentiel de ChatGPT », nos tests montrent qu’il lui reste encore beaucoup à faire avant de pouvoir véritablement affronter les poids lourds du monde des chatbots IA. Bien que Le Chat ait démontré des capacités impressionnantes dans des domaines tels que le raisonnement de bon sens, sa production créative et ses compétences en codage étaient nettement en retard par rapport à ChatGPT. Le nouveau venu français de l’IA est certes prometteur, mais la machine à battage médiatique prend peut-être un peu d’avance sur elle-même.
Comme beaucoup de prétendants en herbe avant lui, Le Chat a besoin d’un perfectionnement et d’un entraînement continus avant d’être prêt pour les ligues majeures. Pour l’instant, les chatbots IA comme ChatGPT sont toujours clairement les rois incontestés du monde des chatbots IA. Mais le peloton de concurrents ne fait que s’encombrer, de sorte que les leaders ne peuvent pas se permettre de se reposer sur leurs lauriers.