Zero-1-to-3 : créer un objet 3D à partir d’une seule image avec un modèle de diffusion

• Un framework qui permet de contrôler le point de vue de la caméra à partir d’une seule image RGB en utilisant un modèle de diffusion à grande échelle
• Bien que le modèle soit entraîné sur un jeu de données synthétique, il fonctionne aussi bien en zero-shot sur des images réelles ou même des peintures impressionnistes, sans préentraînement supplémentaire
• En utilisant cette méthode de diffusion de contrôle du point de vue, il est également possible de reconstruire de la 3D à partir d’une seule image
• Des résultats expérimentaux qualitatifs et quantitatifs montrent qu’il offre des performances nettement supérieures à celles d’autres modèles grâce au préentraînement à l’échelle d’Internet

[wedding]

Jusqu’à l’an dernier, je pensais encore que ce n’était pas pour tout de suite,
mais ces temps-ci, on voit apparaître un nouveau projet et de nouveaux résultats presque un jour sur deux..