Comment faire de la musique AI avec MusicGen de Meta

Meta a publié le code de MusicGen, un autre générateur de musique IA capable de transformer des descriptions de texte en airs musicaux. La démo est disponible en ligne et vous n’avez besoin que d’un navigateur pour l’essayer. Les résultats ne sont pas mauvais, mais plus que cela, cela montre à quel point les modèles de musique IA ont progressé.

Voici ce que vous devez savoir sur MusicGen et comment générer de la musique.

Qu’est-ce que MusicGen ?

En juin 2023, Meta a publié son modèle de génération de musique AI appelé MusicGen. Ce n’est pas la première entreprise à s’attaquer au problème complexe de la synthèse de musique brute à partir d’une simple description textuelle ; jusqu’à présent, vous pouvez créer de la musique avec le Jukebox d’OpenAI ou générer des extraits de chansons avec MusicLM.

Mais c’est la première entreprise à rendre le code open-source, vous permettant d’exécuter le logiciel localement sur votre ordinateur si vous avez un GPU avec un minimum de 16 Go de mémoire, bien que nous ayons pu le faire fonctionner avec seulement 11 Go.

Ne vous inquiétez pas si vous n’avez pas le matériel, car vous pouvez essayer gratuitement l’application Web MusicGen à l’aide d’un navigateur. À partir de la démo en ligne, vous pouvez vous attendre à ce qu’il faille un peu plus d’une minute pour générer un extrait audio d’environ 12 secondes.

Comment MusicGen sonne-t-il ?

Selon Meta, MusicGen peut produire des échantillons de musique de haute qualité, bien que nous ayons découvert que les chercheurs impliqués définissaient la haute qualité comme 32 kHz. Cela se situe quelque part entre les exigences de la synthèse vocale (16 kHz) et la norme de la musique numérique (44,1 kHz).

En réalité, l’audio ne répond pas aux normes de qualité minimales que vous pourriez avoir l’habitude d’entendre à la radio ou sur les plateformes de streaming. Cependant, par rapport à d’autres générateurs de musique AI, et compte tenu de la technologie au moment de la rédaction, la qualité audio est assez bonne avec un faible niveau de bruit dans le fichier.

À quel point la musique s’aligne-t-elle sur les invites ? Vous pouvez rapidement vous en faire une idée en écoutant les exemples que nous avons générés ci-dessous. Globalement, il parvient à adhérer aux genres musicaux populaires tout en conservant une structure musicale plus cohérente par rapport à ses prédécesseurs.

Comment générer de la musique avec MusicGen

MusicGen est facile à utiliser et ne vous oblige pas à vous inscrire. L’interface est également simple, ce qui la rend facile à essayer pour le plaisir.

Voici comment générer de la musique avec MusicGen :

  • Ouvrez le Application Web MusicGen.
  • Dans la zone de texte intitulée Décrivez votre musique, entrez votre invite. Vous pouvez essayer quelque chose d’aussi simple que « l’air folklorique irlandais » ou le rendre plus détaillé en incluant l’instrument, le tempo, le genre ou l’émotion.
  • Appuyez sur le bouton Générer pour démarrer le processus. Après une minute ou deux, un lecteur audio apparaîtra dans le module Generated Music à droite.
  • Survolez le module pour afficher les commandes du lecteur et écouter le fichier, ou appuyez sur l’icône de téléchargement dans le coin supérieur droit pour enregistrer le fichier sur votre ordinateur. Notez qu’il est uniquement disponible en téléchargement en tant que fichier .mp4.
  • Si vous souhaitez essayer de conditionner les résultats à l’aide d’une mélodie existante, vous pouvez télécharger un enregistrement dans le module à côté de la zone de texte. Vous pouvez également sélectionner Mic pour enregistrer une mélodie à l’aide de votre microphone.
  • Le conditionnement sur une mélodie utilisera à la fois la description textuelle et la mélodie que vous fournissez comme référence. C’est un outil utile pour façonner les résultats que vous obtenez de MusicGen.

    Quelles sont les restrictions d’utilisation de MusicGen Audio ?

    Le code pour MusicGen est librement distribué sous la licence MIT avec quelques restrictions. En ce qui concerne l’audio que vous générez à l’aide du modèle, il n’est pas clair s’il existe des directives légales. Au lieu de cela, vous voudrez peut-être tenir compte Avertissement de Meta sur l’utilisation de MusicGen:

    « Le modèle ne doit pas être utilisé pour créer ou diffuser intentionnellement des morceaux de musique qui créent des environnements hostiles ou aliénants pour les gens. Cela inclut la génération de musique que les gens trouveraient vraisemblablement dérangeante, pénible ou offensante ; ou un contenu qui propage des stéréotypes historiques ou actuels. »

    Meta explique en outre que MusicGen est destiné aux chercheurs souhaitant explorer la génération de musique par IA et non à des « utilisations en aval », ce que nous supposons signifier des activités telles que le téléchargement et la distribution de musique IA sur des plateformes de streaming.

    Les avantages et les inconvénients éthiques reflètent la génération d’art de l’IA. Obtenir le consentement d’utiliser des données pour former des modèles d’IA, ainsi que le problème de la rémunération/du crédit des artistes le cas échéant, sont autant de raisons pour Meta de jouer la sécurité.

    En bref, il est peu probable que l’exploration du modèle pour le plaisir cause des dommages, mais cela peut être un problème plus épineux lorsqu’il s’agit d’utiliser l’audio pour la musique commerciale. Beaucoup de gens se demandent à quoi ressemble l’avenir de la musique pop avec l’IA.

    Ajoutant encore un autre modèle de génération de musique à ce qui existe, Meta a publié MusicGen, un modèle d’IA open source capable de générer de la musique brute à partir d’une simple description textuelle. Si vous êtes curieux de tester la technologie, vous pouvez essayer la démo en utilisant simplement un navigateur Web.