-
Système d’IA de génération de mondes 3D
- World Labs développe un système d’IA capable de générer un monde 3D à partir d’une seule image.
- Cette technologie pourrait transformer les méthodes de création de contenus numériques variés, comme les films, les jeux et les simulateurs.
-
Exploration du monde
- Les utilisateurs peuvent explorer le monde 3D généré, se déplacer avec les touches fléchées ou les touches WASD, et ajuster le point de vue avec la souris.
-
Effets de caméra
- La scène est rendue en temps réel via une caméra virtuelle, avec la possibilité de reproduire des effets photographiques comme une faible profondeur de champ ou un dolly zoom.
-
Effets 3D
- La prédiction de scènes 3D offre une sensation de réalisme cohérente, un contrôle en temps réel et une structure géométrique correcte.
- Une depth map permet de visualiser la distance entre la caméra et chaque pixel.
-
Entrer dans l’image
- Le système génère des mondes pour permettre de découvrir des œuvres d’art célèbres d’une manière nouvelle.
- Les parties absentes du tableau original sont générées par le modèle.
-
Workflow créatif
- La génération de mondes 3D s’intègre naturellement avec d’autres outils d’IA pour créer de nouvelles expériences.
- Un modèle texte-image peut être utilisé pour générer une image à partir d’un texte, puis créer un monde 3D sur cette base.
-
Perspectives d’avenir
- World Labs travaille à améliorer la taille et la fidélité des mondes 3D, et expérimente différentes formes d’interaction avec les utilisateurs.
- Des informations sur les prochaines releases sont disponibles via une liste d’attente, et les personnes intéressées sont encouragées à s’y inscrire.
1 commentaires
Avis Hacker News
En essayant la démo, les images animées sont trompeuses. Après quelques pas, on finit par se heurter à des murs invisibles, ce qui est très décevant. Je comprends que c’est encore au début, mais ça donne une impression de battage excessif
Quand on regarde un film en 3D avec un casque VR, bouger la tête brise l’illusion 3D. Dans un jeu 3D, bouger la tête permet d’explorer l’espace. Si on applique cela à chaque image d’un film, on peut conserver un léger mouvement et des changements de point de vue. Mais cela pourrait nuire à l’intention du réalisateur et du directeur de la photographie
J’ai des réserves sur la petite zone couverte, mais convertir une image en monde 3D reste une technologie impressionnante. L’IA devient de plus en plus banalisée, mais cela reste un résultat étonnant
Il existe une méthode qui consiste à utiliser Depth Anywhere pour convertir une image 360º en carte de profondeur virtuelle, puis à l’appliquer à un nuage de points pour le rendu. Contrairement à l’exemple de World Labs, on peut inspecter les défauts de l’approche en allant au-delà des limites du nuage de points. Cela reste encore à améliorer
Cette technologie est sympa, mais pas aussi impressionnante que cat-4d.github.io
J’ai peut-être vu tellement de démos d’IA que je deviens un peu insensible à l’idée qu’il faut encore trouver comment rendre la technologie réellement utile. La section « Step into Paintings » était amusante, mais dès qu’on s’éloigne du matériau source, les limites du modèle apparaissent. On peut découvrir des œuvres d’art d’une manière nouvelle, mais l’expérience n’est pas vraiment bonne
On peut espérer que XYZ parvienne à généraliser les enregistrements Unreal et NVIDIA Isaac. Je me demande si XYZ est un diffusion-transformer, Chameleon, ou une nouvelle architecture. Développer un modèle prend du temps et peut coûter très cher. Cette équipe est très talentueuse, mais n’a peut-être pas suffisamment de financement
Les qualités de ce genre de projets sont souvent éclipsées par des affirmations excessives
L’image de base semble être un rendu, avec éclairage, ombres, etc. Quand j’ai utilisé d’autres outils, ils ne fonctionnaient bien que sur les images d’exemple ; avec d’autres images, on obtenait des formes noires et plates. Donc le titre devrait être : « Générer un monde 3D à partir d’une image unique avec le modèle que nous avons entraîné »
La première fois que j’ai essayé, j’ai été surpris de voir le message « Out of bounds ». En lisant la section « Looking Ahead », j’ai vu qu’ils travaillaient à améliorer l’échelle et la précision