Table des matières
Points clés à retenir
- Moins de censure : les LLM locaux offrent la liberté de discuter de sujets qui suscitent la réflexion sans les restrictions imposées aux chatbots publics, permettant ainsi des conversations plus ouvertes.
- Meilleure confidentialité des données : en utilisant un LLM local, toutes les données générées restent sur votre ordinateur, garantissant ainsi la confidentialité et empêchant l’accès aux entreprises exécutant des LLM publics.
- Utilisation hors ligne : les LLM locaux permettent une utilisation ininterrompue dans des zones éloignées ou isolées sans accès Internet fiable, fournissant ainsi un outil précieux dans de tels scénarios.
Depuis l’arrivée de ChatGPT en novembre 2022, le terme grand modèle de langage (LLM) est rapidement passé d’un terme de niche pour les nerds de l’IA à un mot à la mode sur toutes les lèvres. Le plus grand attrait d’un LLM local est la possibilité de reproduire les capacités d’un chatbot comme ChatGPT sur votre ordinateur sans le bagage d’une version hébergée dans le cloud.
Il existe des arguments pour et contre la mise en place d’un LLM local sur votre ordinateur. Nous allons arrêter le battage médiatique et vous présenter les faits. Devriez-vous utiliser un LLM local ?
Les avantages de l’utilisation de LLM locaux
Pourquoi les gens sont-ils si enthousiastes à l’idée de configurer leurs propres grands modèles de langage sur leurs ordinateurs ? Au-delà du battage médiatique et du droit de se vanter, quels sont les avantages pratiques ?
1. Moins de censure
Lorsque ChatGPT et Bing AI ont été mis en ligne pour la première fois, les choses que les deux chatbots étaient prêts à dire et à faire étaient aussi fascinantes qu’alarmantes. Bing AI a agi de manière chaleureuse et charmante, comme si elle avait des émotions. ChatGPT était prêt à utiliser des jurons si vous le demandiez gentiment. À l’époque, les deux chatbots vous aidaient même à fabriquer une bombe si vous utilisiez les bonnes invites. Cela peut ressembler à toutes sortes de mauvaises choses, mais être capable de tout faire était emblématique des capacités illimitées des modèles de langage qui les alimentaient.
Aujourd’hui, les deux chatbots ont été si étroitement censurés qu’ils ne vous aideront même pas à écrire un roman policier fictif comportant des scènes violentes. Certains chatbots IA ne parlent même pas de religion ou de politique. Bien que les LLM que vous pouvez créer localement ne soient pas entièrement exempts de censure, beaucoup d’entre eux feront volontiers les choses qui suscitent la réflexion que les chatbots destinés au public ne feront pas. Donc, si vous ne voulez pas qu’un robot vous donne des leçons de moralité lorsque vous discutez de sujets d’intérêt personnel, diriger un LLM local pourrait être la voie à suivre.
2. Meilleure confidentialité des données
L’une des principales raisons pour lesquelles les gens optent pour un LLM local est de s’assurer que tout ce qui se passe sur leur ordinateur reste sur leur ordinateur. Lorsque vous utilisez un LLM local, c’est comme avoir une conversation privée dans votre salon : personne de l’extérieur ne peut vous écouter. Que vous expérimentiez les détails de votre carte de crédit ou que vous ayez des conversations personnelles sensibles avec le LLM, toutes les données résultantes sont stockées. uniquement sur votre ordinateur. L’alternative consiste à utiliser des LLM accessibles au public comme GPT-4, qui permettent aux entreprises responsables d’accéder à vos informations de discussion.
3. Utilisation hors ligne
Internet étant largement abordable et accessible, l’accès hors ligne peut sembler une raison triviale pour utiliser un LLM local. L’accès hors ligne pourrait devenir particulièrement critique dans les endroits éloignés ou isolés où le service Internet n’est pas fiable ou indisponible. Dans de tels scénarios, un LLM local fonctionnant indépendamment d’une connexion Internet devient un outil essentiel. Il vous permet de continuer à faire ce que vous voulez sans interruption.
4. Économies de coûts
Le prix moyen pour accéder à un LLM performant comme GPT-4 ou Claude 2 est de 20 $ par mois. Même si ce prix ne semble pas alarmant, vous êtes néanmoins soumis à plusieurs restrictions ennuyeuses pour ce montant. Par exemple, avec GPT-4, accessible via ChatGPT, vous êtes limité à 50 messages par limite de trois heures. Vous ne pouvez dépasser ces limites qu’en passant au forfait ChatGPT Enterprise, qui pourrait potentiellement coûter des milliers de dollars. Avec un LLM local, une fois que vous avez configuré le logiciel, il n’y a pas d’abonnement mensuel de 20 $ ni de frais récurrents à payer. C’est comme acheter une voiture au lieu de compter sur des services de covoiturage. Au début, c’est cher, mais avec le temps, vous économisez de l’argent.
5. Meilleure personnalisation
Les chatbots IA accessibles au public ont une personnalisation limitée en raison de problèmes de sécurité et de censure. Avec un assistant IA hébergé localement, vous pouvez entièrement personnaliser le modèle en fonction de vos besoins spécifiques. Vous pouvez former l’assistant sur des données propriétaires adaptées à vos cas d’utilisation, améliorant ainsi la pertinence et la précision. Par exemple, un avocat pourrait optimiser son IA locale pour générer des informations juridiques plus précises. Le principal avantage est le contrôle de la personnalisation en fonction de vos besoins uniques.
Les inconvénients de l’utilisation de LLM locaux
Avant de faire le changement, vous devriez considérer certains inconvénients liés à l’utilisation d’un LLM local.
1. À forte intensité de ressources
Pour exécuter un LLM local performant, vous aurez besoin de matériel haut de gamme. Pensez à des processeurs puissants, beaucoup de RAM et probablement un GPU dédié. Ne vous attendez pas à ce qu’un ordinateur portable à 400 $ offre une bonne expérience. Les réponses seront extrêmement lentes, en particulier avec les modèles d’IA plus grands. C’est comme exécuter des jeux vidéo de pointe : vous avez besoin de spécifications robustes pour des performances optimales. Vous aurez peut-être même besoin de solutions de refroidissement spécialisées. L’essentiel est que les LLM locaux nécessitent un investissement dans du matériel de premier plan pour obtenir la vitesse et la réactivité dont vous bénéficiez sur les LLM basés sur le Web (ou même améliorer cela). Les exigences informatiques de votre part seront importantes par rapport à l’utilisation de services Web.
2. Réponses plus lentes et performances inférieures
Une limitation courante des LLM locaux réside dans les temps de réponse plus lents. La vitesse exacte dépend du modèle d’IA spécifique et du matériel utilisé, mais la plupart des configurations sont à la traîne des services en ligne. Après avoir reçu des réponses instantanées de ChatGPT, Bard et d’autres, les LLM locaux peuvent sembler extrêmement lents. Les mots s’écoulent lentement au lieu d’être rapidement renvoyés. Ce n’est pas universellement vrai, car certains déploiements locaux obtiennent de bonnes performances. Mais les utilisateurs moyens sont confrontés à une forte baisse de l’expérience Web rapide. Alors préparez-vous à un « choc culturel » passant de systèmes en ligne rapides à des équivalents locaux plus lents.
En bref, à moins que vous n’utilisiez une configuration haut de gamme absolue (nous parlons d’AMD Ryzen 5800X3D avec un Nvidia RTX 4090 et suffisamment de RAM pour couler un navire), les performances globales de votre LLM local ne le seront pas. comparez-vous aux chatbots d’IA génératifs en ligne auxquels vous êtes habitué.
3. Configuration complexe
Le déploiement d’un LLM local est plus complexe que la simple inscription à un service d’IA basé sur le Web. Avec une connexion Internet, votre compte ChatGPT, Bard ou Bing AI pourrait être prêt à commencer à vous inviter en quelques minutes. La mise en place d’une pile LLM locale complète nécessite le téléchargement de frameworks, la configuration de l’infrastructure et l’intégration de divers composants. Pour les modèles plus grands, ce processus complexe peut prendre des heures, même avec des outils visant à simplifier l’installation. Certains systèmes d’IA de pointe nécessitent encore une expertise technique approfondie pour fonctionner localement. Ainsi, contrairement aux modèles d’IA Web plug-and-play, la gestion de votre propre IA implique un investissement technique et en temps important.
4. Connaissances limitées
De nombreux LLM locaux sont bloqués dans le passé. Ils ont une connaissance limitée de l’actualité. Vous vous souvenez de l’époque où ChatGPT ne pouvait pas accéder à Internet ? Alors qu’elle ne pouvait apporter des réponses qu’à des questions sur des événements survenus avant septembre 2021 ? Oui? Eh bien, à l’instar des premiers modèles ChatGPT, les modèles linguistiques hébergés localement sont souvent formés uniquement sur les données avant une certaine date limite. En conséquence, ils ne sont pas conscients des développements récents par la suite.
De plus, les LLM locaux ne peuvent pas accéder aux données Internet en direct. Cela limite l’utilité des requêtes en temps réel telles que les cours boursiers ou la météo. Pour bénéficier d’un semblant de données en temps réel, les LLM locaux nécessiteront généralement une couche supplémentaire d’intégration avec les services connectés à Internet. L’accès à Internet est l’une des raisons pour lesquelles vous pourriez
envisagez de passer à ChatGPT Plus
!
Devriez-vous utiliser un LLM local ?
Les grands modèles linguistiques locaux offrent des avantages alléchants, mais présentent également de réels inconvénients à prendre en compte avant de franchir le pas. Moins de censure, une meilleure confidentialité, un accès hors ligne, des économies de coûts et une personnalisation constituent des arguments convaincants en faveur de la configuration de votre LLM localement. Cependant, ces avantages ont un prix. Avec de nombreux LLM disponibles gratuitement en ligne, se lancer dans des LLM locaux peut être comme écraser une mouche avec un marteau – possible mais exagéré. Mais rappelez-vous que si c’est gratuit, vous et les données que vous générez êtes probablement le produit. Il n’y a donc pas aujourd’hui de bonne ou de mauvaise réponse définitive. L’évaluation de vos priorités déterminera si le moment est venu de faire le changement.