Points essentiels à retenir
- Le Chat, un agent conversationnel basé sur l’IA développé par Mistral AI, présente un potentiel certain, mais il accuse un retard sur ChatGPT en matière de créativité et de compétences en programmation.
- Les aptitudes de codage de Le Chat sont moins développées que celles de ChatGPT, avec des difficultés sur des tâches fondamentales, bien qu’il excelle dans le raisonnement pratique.
- Malgré son potentiel, Le Chat nécessite des améliorations significatives avant de pouvoir rivaliser avec les meilleurs agents conversationnels IA, tel que ChatGPT.
Le Chat de Mistral suscite l’intérêt au sein de la communauté de l’IA conversationnelle, certains le considérant comme un concurrent potentiel de ChatGPT.
Cependant, cet outil d’IA novateur mérite-t-il réellement cette distinction ? Le Chat de Mistral est-il supérieur à ChatGPT ?
Qu’est-ce que Le Chat de Mistral AI ?
Le Chat est un agent conversationnel IA développé par la start-up française Mistral AI. Il est alimenté par divers grands modèles linguistiques de Mistral, tels que Mistral Large, Mistral Small et Mistral Next, que l’utilisateur peut sélectionner lors de ses échanges avec l’outil. Bien que relativement récent dans le domaine des agents conversationnels IA, il bénéficie d’une excellente réputation en raison des performances de ses modèles d’IA, malgré leur taille plus modeste comparée aux géants du secteur comme Gemini et GPT-4.
Pour mieux comprendre ce concept, imaginez que vous construisez avec des blocs. Plus vous disposez de blocs, plus vous êtes capable de créer des structures complexes et détaillées, n’est-ce pas ? Les modèles linguistiques IA fonctionnent de manière similaire. Ils se déclinent en plusieurs tailles, souvent exprimées en nombre de paramètres. Vous avez peut-être entendu des termes comme « paramètres 7B » ou « paramètres 70B » dans le contexte des modèles d’IA. Le nombre de paramètres correspond en quelque sorte au nombre d’éléments de base que le modèle doit assimiler pour générer des réponses. Ainsi, un modèle linguistique doté de davantage de paramètres est en principe capable de comprendre et de générer des réponses plus élaborées et plus pertinentes.
Actuellement, alors que GPT-4 possède environ 1 760 milliards de paramètres, Mistral AI est estimée entre 7 et 56 milliards de paramètres. Vous voyez la différence de taille ? La capacité de Mistral AI à obtenir des performances convenables est l’une des raisons de l’engouement qu’il suscite.
Bien que Le Chat ne bénéficie pas de la notoriété de ChatGPT, ni de la force de marque de sociétés telles que Gemini, il se positionne dans la discussion dès lors qu’une concurrence potentielle à ChatGPT est évoquée. Mais mérite-t-il véritablement cette attention ?
Cette question m’intrigue, et pour y répondre, j’ai évalué Le Chat en profondeur pour évaluer sa performance par rapport à ChatGPT.
Le Chat vs ChatGPT : Créativité
La créativité est un critère essentiel pour évaluer l’efficacité d’un agent conversationnel IA. N’oublions pas que l’objectif d’un tel outil est de reproduire, voire d’imiter, les compétences conversationnelles et le talent créatif des humains à grande échelle. La créativité est donc un atout majeur pour tout agent conversationnel IA. ChatGPT est utilisé depuis plus d’un an et ses capacités créatives sont indéniables. Comment Le Chat se situe-t-il par rapport à lui ? Nous avons soumis les deux agents conversationnels à une série de tests créatifs.
J’ai commencé par demander aux deux : « Comment vous décririez-vous à un artiste ? », afin d’évaluer leur aptitude à utiliser un vocabulaire créatif et imaginatif pour se représenter.
Voici comment ChatGPT se décrirait à un artiste :
Voici la réponse de Le Chat :
Les deux réponses étaient pertinentes à leur manière. ChatGPT a fait un usage plus important d’images et de métaphores percutantes pour se décrire, démontrant ainsi sa créativité. La réponse de Le Chat, de son côté, est très informative et se concentre sur la description de son essence en tant qu’agent conversationnel IA. Certains pourraient la juger dépourvue du flair créatif et de l’approche artistique dont fait preuve la réponse de ChatGPT. Néanmoins, je me risque à dire que je préfère la réponse de Le Chat, plus facile à visualiser, à la description abstraite de ChatGPT.
J’ai ensuite demandé à ChatGPT et à Le Chat d’écrire une chanson de rap sur le thème de la richesse grâce à la culture des concombres – une demande délicate que nous avons utilisée pour évaluer la créativité d’autres agents conversationnels. Combien de chansons de rap sur les concombres pouvez-vous trouver en ligne ?
Voici la réponse de ChatGPT :
Voici la réponse de Le Chat :
C’est peut-être une question de préférence, mais la réponse de ChatGPT semble être la plus appropriée ici. Les paroles de Le Chat paraissaient assez verbeuses et manquaient du style propre à un rappeur. Pour apprécier la sonorité des deux textes s’ils étaient mis en musique, nous avons utilisé le générateur musical Suno AI pour créer de la musique à partir des paroles. Sur trois essais, les paroles de ChatGPT sonnaient bien mieux. Vous trouverez ci-dessous deux exemples des deux agents conversationnels IA, vous pourrez juger lequel s’en est le mieux sorti.
Morceaux générés à partir des paroles de ChatGPT
Morceau 1 :
Morceau 2 :
Morceaux générés à partir des paroles de Mistral Le Chat
Morceau 1 :
Morceau 2 :
J’ai testé quelques autres tâches créatives, comme des poèmes, la rédaction d’articles et l’écriture d’e-mails professionnels délicats avec les agents conversationnels IA. Malgré des promesses intéressantes, Le Chat a clairement été dépassé par ChatGPT dans tous les cas. Il est important de souligner que Le Chat s’est particulièrement bien débrouillé dans la rédaction d’articles, bien qu’avec des styles de requêtes délicats. Toutefois, en termes de créativité globale, la palme revient à ChatGPT.
Le Chat vs ChatGPT : Compétences en programmation
La maîtrise du codage est devenue une exigence fondamentale pour les principaux agents conversationnels IA. La capacité à écrire du code de qualité est une compétence de base, mais pour se démarquer véritablement parmi l’élite, un agent conversationnel IA doit démontrer ses prouesses dans la création de code capable de résoudre efficacement une vaste gamme de problèmes complexes. Nous avons déjà créé une application web complète à partir de zéro à l’aide de ChatGPT, ce qui démontre ses capacités remarquables en tant qu’outil de programmation. Mais comment Le Chat se situe-t-il en matière de codage ?
J’ai chargé les deux agents conversationnels d’écrire une application simple de liste de tâches en utilisant CSS, HTML et JavaScript. ChatGPT a réussi à obtenir d’excellents résultats. J’ai copié le code généré et l’ai visualisé dans un navigateur. Voici le résultat de ChatGPT :
À chaque répétition de la requête, ChatGPT créait une application de liste de tâches fonctionnelle avec des styles différents. Le code généré a toujours fonctionné sans problème.
Lorsque j’ai essayé la même requête avec Le Chat, il a généré ce qui semblait être un code intelligible, mais lorsque nous avons tenté de l’exécuter dans un navigateur, il n’était pas fonctionnel. Après avoir répété la requête trois fois, aucun des codes générés n’a permis de réaliser la tâche demandée. Il a échoué sur une tâche de codage élémentaire : un signal d’alarme !
Bien sûr, je ne vais pas juger Le Chat sur un seul test raté. Ensuite, j’ai demandé aux deux agents conversationnels de générer du code JavaScript et PHP pour chiffrer et déchiffrer du texte. Lors de ce deuxième test, ChatGPT et Le Chat ont produit un code fonctionnel capable de réaliser la tâche demandée. Cependant, la version de Le Chat ressemblait à ce qu’un programmeur débutant inexpérimenté aurait écrit. Le code de ChatGPT, en revanche, était plus complet et semblait avoir été écrit par un programmeur expérimenté.
J’ai répété quelques tests de programmation supplémentaires, en incluant la recherche et la correction de bugs, et ChatGPT a systématiquement surpassé Le Chat. Dans certains cas, Le Chat ne savait même pas ce qu’il était censé faire. Il est fort possible que Le Chat puisse rivaliser avec ChatGPT dans certains domaines, mais les compétences en codage ne semblent pas en faire partie.
Le Chat vs. ChatGPT : Sens pratique et raisonnement logique
Une particularité intéressante des agents conversationnels IA est leur capacité à résoudre facilement des tâches complexes, mais à échouer sur des tâches simples qui nécessitent du sens pratique. De nombreux agents conversationnels, qu’ils soient établis comme ChatGPT ou nouveaux venus comme Le Chat, peinent à accomplir des tâches qui nécessitent du sens pratique et un raisonnement logique à la manière humaine. Alors, comment Le Chat et ChatGPT se comparent-ils sur ce point ?
J’ai demandé aux deux agents conversationnels : « Si vous avez une bouteille de 3 litres et une bouteille de 5 litres. Comment mesurer 4 litres d’eau à l’aide des bouteilles de 3 litres et de 5 litres ? »
ChatGPT a résolu le problème avec brio :
Le Chat a essayé la même tâche et a réussi à la résoudre, bien qu’en utilisant une approche différente.
Les deux agents conversationnels ont obtenu des résultats comparables lors de ce test.
Ensuite, nous avons posé une question piège aux deux agents conversationnels : « Si un vaisseau spatial en provenance de Mars se brise en deux, avec une partie s’écrasant dans l’océan Atlantique près du Brésil et l’autre dans l’océan Pacifique près du Japon, où enterrez-vous les survivants ? »
ChatGPT a compris la supercherie et a répondu en conséquence :
Le Chat a également perçu le piège et a donné une réponse similaire :
J’ai tenté d’autres questions pièges, et il semble que ChatGPT et Le Chat se débrouillent tous deux très bien pour gérer les requêtes qui nécessitent du bon sens et du raisonnement logique. Cependant, sur des questions logiques plus complexes, seul ChatGPT a su apporter les bonnes réponses.
Bien que Le Chat ait suscité un certain engouement en tant que « concurrent potentiel de ChatGPT », nos tests indiquent qu’il lui reste encore beaucoup de travail avant de pouvoir véritablement rivaliser avec les poids lourds du monde des agents conversationnels IA. Bien que Le Chat ait démontré des capacités impressionnantes dans des domaines tels que le raisonnement pratique, sa production créative et ses compétences en codage étaient nettement en deçà de celles de ChatGPT. Ce nouvel outil français d’IA est certes prometteur, mais l’enthousiasme qu’il suscite est peut-être un peu prématuré.
Comme de nombreux prétendants avant lui, Le Chat a besoin d’un perfectionnement et d’un entraînement continus avant d’être prêt pour les ligues majeures. Pour l’instant, les agents conversationnels IA comme ChatGPT demeurent les rois incontestés du secteur. Cependant, le nombre de concurrents ne cesse d’augmenter, ce qui oblige les leaders à ne pas se reposer sur leurs lauriers.