Le modèle de génération d’images FLUX est rapide et open source

• FLUX fonctionne plus rapidement sur Replicate, et son code optimisé est publié en open source afin que tout le monde puisse l’examiner et l’améliorer
• Le secret du gain de vitesse
  • Le modèle FLUX est maintenu en collaboration avec Black Forest Labs, avec deux principales optimisations
    • Optimisation du modèle : amélioration des performances grâce à torch.compile et aux kernels d’attention CuDNN
    • L’ajout d’une nouvelle API HTTP synchrone améliore fortement la vitesse des modèles d’image
  • La quantification de flux-fp8-api modifie légèrement les sorties, sans impact majeur sur la qualité
  • Les méthodes d’optimisation sont publiées de manière transparente, et les utilisateurs peuvent désactiver ces optimisations
• La vitesse de l’open source
  • Les modèles open source sont souvent lents par défaut, et les fournisseurs de modèles les optimisent fréquemment avant de les proposer via des API propriétaires
  • Toutes les améliorations de FLUX sont publiées en open source afin de collaborer avec la communauté pour développer un modèle encore plus rapide
• Utilisations de FLUX
  • En plus d’exécuter FLUX sur Replicate, divers usages sont possibles
    • Ajuster finement FLUX avec les données des utilisateurs
    • Modifier le code pour déployer une version personnalisée
    • Essayer le modèle dans le nouveau playground et comparer les résultats

Récapitulatif de GN⁺

• FLUX offre à chacun la possibilité d’utiliser un modèle optimisé grâce à l’amélioration de ses performances sur Replicate et à sa publication en open source
• Les efforts pour résoudre les problèmes de vitesse de l’open source permettent, grâce à la collaboration avec la communauté, de développer des modèles encore plus rapides
• Les différentes possibilités d’utilisation de FLUX donnent aux utilisateurs l’occasion de créer des solutions personnalisées
• D’autres projets offrant des fonctions similaires incluent TensorFlow et PyTorch

[GN⁺]

Avis Hacker News

• Certains estiment que les modèles de génération d’images à partir de texte sont inefficaces et qu’il vaudrait mieux découper le processus en plusieurs étapes. Chaque étape pourrait être entraînée indépendamment, ce qui permettrait une approche modulaire et rendrait l’édition d’images plus simple

  • Par exemple, il serait plus facile de générer une image où « l’objet x est à côté de l’objet y, avec le texte foo au-dessus »
  • Il est également mentionné qu’un modèle de rendu final pourrait exister séparément du prompt afin d’ajuster le style artistique ou le niveau de réalisme

• Il est souligné qu’un logiciel non commercial n’est pas open source, et que si l’auteur initial cesse d’en assurer la maintenance, personne d’autre ne peut poursuivre le projet sauf à travailler gratuitement

  • L’open source fournit une licence permettant à tout le monde de continuer le développement lorsque l’auteur initial arrête son travail
  • Seul FLUX.1 [schnell] est open source (Apache2), tandis que FLUX.1 [dev] est non commercial

• Pour utiliser facilement FLUX.schnell, il est suggéré d’entrer un prompt dans l’URL de Pollinations

  • La vitesse de FLUX est décrite comme impressionnante : avec seulement trois GPU L40S, il générerait 8 000 images toutes les 30 minutes

• Quelqu’un dit aimer utiliser FLUX pour générer des images sur fond blanc destinées à Substack

  • Cela permettrait de transmettre visuellement quelque chose en plus du texte

• FLUX est considéré comme le meilleur système de génération auto-hébergé en matière de respect du prompt, mais la faible profondeur de champ apparaît toujours, ce qui est jugé gênant

• Une personne indique avoir résilié son abonnement à Midjourney et envisager Replicate et Ideogram

• Certains s’interrogent sur les données d’entraînement de FLUX 1.1, en expliquant que les images générées ressemblent à des photos personnelles

  • Ils se demandent si les données d’entraînement proviennent de publications Facebook publiques, de Snapchat, de Vkontakte, etc.

• Il est avancé que le modèle FLUX 1.1 pro n’a probablement pas utilisé des données d’entraînement très différentes de celles des précédents modèles ouverts

• La page de comparaison de FLUX est mentionnée, avec l’observation que la version rapide montre des images complètement différentes du modèle d’origine

• La controverse autour de l’open source des modèles de Meta est évoquée, et il est rappelé que dans le cas de FLUX, seul FLUX schnell est open source

  • Il est indiqué que le modèle Llama de Meta dispose d’une licence plus permissive et est plus facile à ajuster que FLUX schnell

• Il est affirmé que la communauté open source devrait soutenir des projets comme OpenFLUX

• Certains s’interrogent sur le fait que le problème des mains qui ont toujours l’air étranges ne soit pas encore résolu