Qwen VLo - de la « compréhension » du monde à sa « représentation »
(qwenlm.github.io)- Qwen VLo est un modèle de prévisualisation qui étend les capacités de compréhension d’image de QwenVL et Qwen2.5 VL à la génération d’images, et peut être essayé directement dans Qwen Chat
- Au lieu de finaliser une image d’un seul coup, il utilise une génération progressive qui construit l’image de gauche à droite puis de haut en bas, afin d’améliorer la cohérence et l’harmonie du résultat
- Il se concentre sur la recréation d’images, en modifiant les couleurs, le style et les objets tout en préservant le sens et la structure de l’image d’origine
- Avec de simples instructions en langage naturel, il peut remplacer l’arrière-plan, ajouter ou supprimer des objets, transformer le style, éditer du texte, créer des posters, ainsi que produire des cartes de profondeur, de segmentation, de détection et d’informations de contour
- Comme il est encore en phase preview, des imprécisions, des écarts avec l’original et un non-respect des consignes peuvent survenir ; la prise en charge multi-image et certaines fonctions de génération à ratio extrême ne sont pas encore officiellement lancées
Rôle et approche de Qwen VLo
- Qwen VLo unifie compréhension multimodale et génération, pour aller au-delà de la simple compréhension d’image et recréer des images à partir de cette compréhension
- La version actuelle est une preview et peut être utilisée sur Qwen Chat
- Il est possible de générer une image à partir du texte seul, ou de téléverser une image puis de la modifier en langage naturel
- Génération d’image possible avec un prompt textuel comme “Generate a picture of a cute cat”
- Après avoir téléversé une image de chat, on peut la modifier avec une instruction comme “Add a cap on the cat’s head”
Une génération progressive de gauche à droite
- Qwen VLo utilise une méthode de génération progressive qui construit l’image de manière séquentielle
- Il est conçu pour affiner et optimiser continuellement ses prédictions pendant la génération afin d’améliorer la cohérence et l’harmonie de l’image finale
- Ce mécanisme améliore la qualité visuelle et offre une expérience de création où l’utilisateur contrôle les résultats avec davantage de souplesse
- Combiné à la génération en résolution dynamique, il convient bien aux tâches nécessitant un contrôle fin, comme des publicités avec de longs textes ou des cases de bande dessinée
- Il est possible de suivre progressivement le processus de génération et d’ajuster en temps réel
Des capacités étendues de la compréhension à la génération
-
Recréation en préservant la structure d’origine
- Les modèles multimodaux existants peuvent produire un décalage sémantique pendant la génération, confondre une voiture avec un autre objet ou ne pas conserver la structure essentielle de l’image d’origine
- Qwen VLo vise à maintenir un haut niveau de cohérence sémantique pendant la génération en renforçant sa capacité à capturer les détails
- Si l’on demande un « changement de couleur » sur une photo de voiture, il peut identifier le modèle du véhicule et modifier le style colorimétrique tout en conservant la structure d’origine
-
Édition d’image en langage naturel
- Il peut traiter des consignes comme « transforme cette image dans le style de Van Gogh », « fais-en une photo du XIXe siècle » ou « ajoute un ciel dégagé »
- Il prend en charge des tâches comme le transfert de style artistique, la recomposition de scène et la retouche de détails
- Même des tâches classiques de perception visuelle, comme la prédiction de cartes de profondeur, de segmentation, de détection ou d’informations de contour, peuvent être réalisées sous forme d’instructions d’édition
- Des consignes complexes comme la modification d’objets, l’édition de texte et le changement d’arrière-plan peuvent être traitées dans une seule commande
-
Prise en charge d’instructions multilingues
- Il prend en charge plusieurs langues, dont le chinois et l’anglais
- Les utilisateurs peuvent décrire leurs besoins et obtenir des résultats quelle que soit la langue utilisée
Types de tâches visibles dans la démo
-
Génération d’image et édition continue
- La démo montre un flux où l’on génère un adorable Shiba Inu, puis où l’on remplace l’arrière-plan par une prairie, ajoute un bonnet rouge et des lunettes de soleil noires translucides, puis inscrit le texte “QwenVLo” sur le bonnet
- Elle montre aussi comment transformer la même image dans un style Ghibli ou en style 3D Q-version, ou encore réutiliser les objets modifiés dans un contexte d’édition continu
- On y voit également des tâches comme détecter un stylo avec un masque bleu ou segmenter le contour d’un chien avec un masque rose
-
Transformation de style et réinterprétation
- Il peut transformer un dessin en photo réaliste, remplacer l’arrière-plan par la Tour Eiffel ou faire flotter une personne dans les airs comme un ballon
- Il peut aussi convertir une photo de couple en sticker illustré minimaliste flat ou en figurine de collection en rendu 3D, avec ajout du texte “Happy Wedding”
- Les démonstrations couvrent des styles Ghibli, One Piece, Dragon Ball, SpongeBob, Minecraft et pixel art
- Il existe aussi des exemples où un chat est converti dans un style 3D Pixar ou où une skyline nocturne de Miami est transformée dans un style de modélisation de matériau spécial à texture gélatineuse
-
Traitement de prompts complexes
- Il peut générer une photo incluant un homme portant une casquette noire, une femme portant des lunettes rouges, un Husky, la Statue de la Liberté visible par la fenêtre et un panneau de station “Qwen VLo” dans le métro
- Il peut aussi suivre des instructions qui s’appuient sur un résultat précédent, comme une scène à la première personne où l’on dessine un diagramme dans un carnet, ou une scène où Isaac Newton présente une expérience avec un prisme
- Sont également inclus des prompts de type poster créant une grande photo au grand angle où un chat noir, en personnage principal, fait face à une foule d’animaux, des extraterrestres et une soucoupe volante
Génération de posters et d’images textuelles
- Qwen VLo prend en charge non seulement les tâches utilisant à la fois texte et image comme entrée, mais aussi la génération texte-image
- En plus des images classiques, il peut créer des posters bilingues incluant du chinois et de l’anglais
- Un art d’animation magique nocturne avec le texte “Qwen VLo!” formé d’énergie
- Une scène de selfie d’un chat orange portant des lunettes de soleil et des cache-oreilles
- Des images de type poster contenant des textes comme “2025”, “A New Beginning”, “新的开始”, “长安”, “Father’s Day”
- Dans les posters publicitaires, il gère par exemple la composition d’un titre comme “一杯咖啡，唤醒你的清晨” avec une canette de café, une bouilloire à hand drip et une palette de couleurs café
- Un autre exemple de poster place un produit d’éclairage comme élément visuel central, sur un fond bleu sombre avec un halo orange chaleureux, accompagné du texte “Illuminating not just the desk, but an attitude.”
Une génération qui inclut aussi la perception et la localisation
- En plus de la génération et de l’édition, Qwen VLo peut ajouter des annotations sur une image existante
- Exemples de tâches :
- Générer une table remplie de fruits puis prédire une carte de détection des contours
- Segmenter le contour d’une banane dans l’image avec un masque rouge
- Marquer un téléphone avec une boîte rouge dans l’image d’un bureau encombré
- Effacer le téléphone indiqué puis ajouter du café sur le bureau
- Convertir l’image finale en image de détection de contours
- Comme il s’agit d’un modèle intégré de compréhension et de génération, il peut aussi réanalyser les images qu’il a lui-même générées
- Dans un exemple où l’on génère un chien et un chat puis où l’on demande leur race, le chien est identifié comme Beagle ou Beagle mix, et le chat comme Tabby cat
Résolution, format d’image et entrées multi-images
- Qwen VLo utilise un apprentissage en résolution dynamique et prend en charge la génération en résolution dynamique
- En entrée comme en sortie, il accepte des images de résolution et de ratio arbitraires
- Il permet de créer des images adaptées à différents scénarios, comme des posters, illustrations, bannières web ou couvertures pour réseaux sociaux, sans être limité à un format fixe
- Il peut gérer des formats allongés comme 4:1 ou 1:3
- Toutefois, la génération d’images à ratio extrême n’est pas encore officiellement lancée
- Il inclut aussi la capacité de comprendre et générer à partir de plusieurs images d’entrée
- L’exemple donné consiste à placer une image de produits de toilette dans une image de panier rouge
- La fonction d’entrée multi-image n’est pas encore officiellement lancée
Limites de la phase preview et orientations à venir
- Qwen VLo est encore en phase preview, et plusieurs limites subsistent
- Des imprécisions peuvent apparaître pendant la génération
- Les résultats peuvent ne pas correspondre à l’image d’origine
- Il peut ne pas suivre correctement les consignes
- La stabilité de la reconnaissance et de la compréhension de l’intention dans les images générées peut encore être insuffisante
- À l’avenir, l’objectif est de continuer à améliorer sa stabilité et sa robustesse
- Les grands modèles multimodaux pourront traiter de façon bidirectionnelle les entrées et sorties textuelles et visuelles, et fournir des réponses non seulement en texte mais aussi en image
- La génération de diagrammes, l’ajout de lignes d’aide et l’annotation de zones clés pourront servir d’outils de communication plus variés
- La génération de résultats intermédiaires, comme des cartes de segmentation ou de détection, restera aussi une piste explorée pour permettre au modèle de vérifier sa propre compréhension et d’améliorer ses performances
1 commentaires
Avis de Hacker News
Dommage qu’il n’y ait pas de publication des poids. Le point fort de Qwen a historiquement été sa stratégie de poids ouverts, et il aurait été souhaitable de voir arriver un vrai modèle à poids ouverts capable de concurrencer la génération d’images autorégressive de 4o.
Il existe beaucoup de pistes de recherche intéressantes qui ne sont possibles qu’avec un accès aux poids. Si la récupération des coûts de développement est une préoccupation, il vaudrait la peine de s’inspirer du lancement de Flux Kontext Dev par BFL : fournir gratuitement les poids aux chercheurs et aux particuliers, et proposer aux startups une licence commerciale à un prix raisonnable.
À voir la teinte orangée des images, il semble assez évident que le modèle a été entraîné sur des sorties d’OAI. Je me demande s’ils ont vraiment essayé de créer leurs propres données.
Au final, il a été entraîné sur OAI, il est aussi fermé qu’OAI et, plus important encore, il est moins bon qu’OAI. Enfermer ce genre de chose derrière une API est une stratégie étrange.
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...
Pour une raison quelconque, l’ère des poids ouverts en Chine semble terminée. Cela ressemble à un mouvement soudain et coordonné.
Alibaba a cessé d’ouvrir Qwen, Tencent a cessé d’ouvrir Hunyuan, et Seedream de Bytedance est sorti en fermé. Pourtant, il semble toujours assez clair qu’ils s’entraînent sur les sorties de modèles occidentaux. Stratégiquement, je pense qu’il serait plus logique de miser à 100 % sur l’ouverture et de vendre l’infrastructure/les services.
Si l’idée est de faire des poids ouverts, les gens ne devraient-ils pas pouvoir les utiliser librement ?
L’approche proposée ressemble davantage à des poids d’essai, des poids shareware ou des poids à usage académique qu’à de “vrais” poids ouverts. S’il manque l’idée, comme dans le logiciel open source, qu’on peut les utiliser pour n’importe quoi, alors le terme “ouvert” donne une mauvaise impression.
Je suis personnellement sceptique sur la capacité des seuls tarifs de génération d’images à amortir des dizaines de millions de dollars d’investissement, de temps GPU et de salaires d’ingénieurs.
À mes yeux, toutes ces images tombent dans la vallée de l’étrange. Les couleurs et les ombres semblent toutes décalées.
En regardant l’exemple d’édition de l’image de l’ours, le modèle semble modifier bien plus que ce qui lui est demandé.
On lui a demandé de changer l’arrière-plan, mais l’ours lui-même a aussi complètement changé ; la chemise est la même, mais la fourrure et le visage sont clairement différents. Quand l’ours est transformé en ballon, l’arrière-plan change aussi, le trottoir disparaît, tout comme le pépin à gauche sur la pastèque. Je me demande si cela peut être corrigé avec un meilleur prompt, ou si c’est une limite du modèle/de l’architecture.
Comme test presque incontournable, j’ai essayé de générer un pélican faisant du vélo sous forme d’image plutôt qu’en SVG, et j’ai aussi généré quelques images d’accordéon. Le modèle a un peu de mal à aligner correctement les doigts et les touches noires, mais il est assez rapide.
https://chat.qwen.ai/s/0f9d558c-2108-4350-98fb-6ee87065d587?...
Le défi est d’utiliser du SVG plutôt qu’un format à base de pixels. Produire correctement du SVG exige en effet un certain degré de raisonnement.
Curieusement, les exemples de modification d’images, c’est-à-dire d’édition ou de transfert de style, présentent cette légère teinte jaune qu’on voit dans GPT Image 1, le dernier modèle d’image de ChatGPT 4o. Flux Kontext ne semble pas avoir cet aspect ; je me demande pourquoi.
Je ne sais pas comment arrêter la lecture automatique à voix haute. Est-ce qu’un site web ne pourrait pas simplement rester tranquille et attendre que je lui demande de faire quelque chose ?
Sur watch, une vidéo s’est lancée automatiquement en plein écran, puis la lecture à voix haute a commencé tout de suite. Pour info, c’est Firefox sur iOS.
C’est sur Firefox Android, donc je ne sais pas si la version iOS a la même fonction. Elle existe aussi sur desktop. On peut aussi y bloquer complètement les demandes des sites web pour envoyer des notifications.
En tant que chercheur en apprentissage automatique et titulaire d’un diplôme en physique, je suis assez prudent quand on parle de compréhension et de “description” à propos de ces modèles. Le mot compréhension, en particulier, me paraît peu utile et, franchement, nuisible.
En physique, si l’on utilise les mathématiques, c’est pour leur précision, et c’est aussi pour cela que coder est difficile. Les gens semblent sous-estimer à quel point ils comprennent le monde. Ce qui compte, ce sont les nuances, mais comme elles sont trop quotidiennes, on oublie souvent leur importance. La lecture de “Relativity of Wrong” d’Asimov vaut le détour. Pour dire qu’un tel système comprend quelque chose, il devrait être capable de déduction et d’abduction, de raffiner des concepts et des idées, et de découvrir davantage que de simples combinaisons de ce qu’il a ingéré. S’entraîner sur l’ensemble du savoir humain puis le répéter ne prouve pas l’intelligence. Il est peu probable que le savoir ait été compressé sans perte dans un modèle de cette taille, mais sans examiner en profondeur les données et les connaissances, il est très difficile de savoir ce qu’il sait vraiment et ce qu’il a mémorisé. Construire quelque chose d’utile et construire une intelligence sont deux problèmes différents.
Pour comprendre réellement, il faut être capable de proposer une pensée contrefactuelle. Toute proposition en physique est une proposition contrefactuelle. Prenons F=ma : si l’on change la masse ou l’accélération, on peut toujours calculer la force. On peut observer une masse donnée se déplacer avec une accélération donnée, demander “et si elle était deux fois plus lourde ?”, et répondre. Le modèle du monde d’un humain fait aussi ce genre de choses. Nous ne l’expliquons simplement pas en langage mathématique, mais nous formulons des contrefactuels et les traitons assez souvent correctement. Je pense qu’il est difficile de dire que les systèmes modernes d’apprentissage automatique font cela.
L’image de l’article original est un bon exemple de manque de compréhension. À droite, non seulement le nombre de doigts est incorrect, mais les touches du clavier sont aussi étranges. Avec un minimum de compréhension, on sait que les touches ne devraient pas se répéter. La disposition est aussi chaotique que des objets dans un rêve, le nombre de touches ne correspond probablement pas au nombre de marquages, et les tailles semblent décalées. Plus on regarde longtemps, plus ça se dégrade, ce qui est courant avec ce type de système. À première vue, ça paraît correct, mais plus on examine les détails, plus on s’enfonce dans la vallée dérangeante.
https://youtube.com/watch?v=cDA3_5982h8
Le code, c’est des mathématiques. Il existe un isomorphisme entre les langages Turing-complets et les mathématiques calculables. Pour creuser de façon plus rigoureuse, il suffit de regarder du côté de Church et Turing. Bien sûr, la physique et les mathématiques ne sont pas la même chose, mais les mathématiques sont déraisonnablement efficaces.
https://hermiene.net/essays-trans/relativity_of_wrong.html
https://en.wikipedia.org/wiki/Counterfactual_thinking
Quand on construit quelque chose, ce genre d’homme de paille est épuisant
Exprimer l’entrée et la sortie avec des mots largement compris est utile. En plus, ils ont mis ces mots entre guillemets pour signaler qu’ils ne prétendaient pas extrapoler exagérément toutes leurs implications à long terme. Quelqu’un qui lit l’annonce comprend simplement que Qwen était auparavant un VLM qui voyait/percevait/comprenait, et qu’il peut désormais générer/décrire/dessiner des images. Il n’est pas nécessaire de fabriquer une crise au-delà de ça.
Je me demande s’il existe un rapport technique sur ce modèle, ou sur d’autres modèles qui génèrent des images de la même manière, comme 4o. J’aimerais vraiment comprendre l’architecture de la génération d’images de type 4o.
Je pense que le machine learning a beaucoup plus progressé du côté de la description du monde que de sa “compréhension”.
Dire “j’ai compris” n’est en réalité qu’un critère individuel arbitraire.
Les images sont compressées en 256 tokens avant d’être vues par le modèle de langage. Si on lui demande d’ajouter un chapeau, il redessine tout le visage parce que les objets ne sont pas stockés séparément.
Il n’y a pas d’ours persistant en mémoire : tout se trouve dans une sorte de soupe d’espace latent fusionné. L’image est rééchantillonnée sous une nouvelle contrainte, et le moindre changement dans le prompt rééquilibre tout l’embedding. C’est pourquoi même une petite modification se diffuse à l’ensemble de l’image. Cela ressemble à une composition de scène en un seul coup, et c’est utile pour d’autres usages.
L’édition avec gpt-image-1 convient bien aux changements de style complets du type “fais-le en style Ghibli”, mais elle marche moins bien quand il s’agit d’ajouter des lunettes à une image réaliste tout en conservant tous les détails.