ACE-Step-1.5 - Un modèle local de génération musicale qui surpasse les services payants

• Un modèle open source de génération musicale capable d’atteindre une qualité de génération musicale de niveau commercial, comme Suno, même sur du matériel grand public
• Génération rapide d’un morceau complet en moins de 10 secondes (RTX 3090)
• Exécution locale possible même dans un environnement avec moins de 4 Go de VRAM, avec prise en charge d’un entraînement personnalisé basé sur LoRA pour refléter le style musical de l’utilisateur
• Prend en charge la génération de covers, le repaint (régénération partielle), la conversion voix → BGM, ainsi que la séparation de pistes et la synthèse multipiste
• Contrôle de la structure et du style via des prompts de paroles dans plus de 50 langues
• Caractéristiques de performance et de qualité
  • Offre une qualité sonore et une diversité de styles supérieures à celles des modèles commerciaux (niveau Suno v4.5 à v5)
  • Prend en charge plus de 1 000 instruments et genres, avec un contrôle fin du timbre
  • Prend en charge la génération audio jusqu’à 10 minutes (600 secondes) et la génération par lot simultanée de 8 morceaux
• Fonction d’entraînement LoRA intégrée
  • Annotation et entraînement en un clic dans l’interface Gradio
  • Sur une RTX 3090 (12 Go), entraînement terminé en moins d’une heure pour 8 morceaux
  • Prise en charge du fine-tuning avancé LoRA/LoKR et de l’optimisation VRAM via le module Side-Step
• Compatibilité multiplateforme : prise en charge de Mac (MLX), AMD ROCm, Intel XPU, CUDA GPU et CPU, avec détection automatique de l’environnement et scripts de configuration fournis
• Plusieurs interfaces disponibles
  • Gradio Web UI : interface web intuitive de génération musicale
  • Studio UI : environnement d’édition avancé de type DAW
  • Python API / REST API / CLI : prise en charge de l’intégration de services et de l’automatisation
• Fournit un ensemble de documentation multilingue disponible en anglais, chinois, japonais et coréen
• MIT License : usage recommandé pour la création, l’éducation et le divertissement, dans le respect du droit d’auteur et des sensibilités culturelles
• Site officiel : acemusic.ai
• Rapport technique : arXiv:2602.00744
• Écouter des exemples

[aciddust]

J’avais récemment pris un abonnement à Suno pour générer des bandes-son.
Pour des cas d’usage simples, ça pourrait permettre de réduire les frais d’abonnement.

[princox]

Je vais devoir l’essayer aujourd’hui.

[xguru]

Parmi les exemples, il y a aussi de la K-pop, et si un modèle local peut générer quelque chose de ce niveau, c’est franchement très bien.
Pour la musique de fond de jeux ou de vidéos créés par des particuliers, ça va vraiment devenir très simple maintenant.