Infinigen : créer des mondes photoréalistes infinis grâce à la génération procédurale

• Infinigen est un « générateur de scènes 3D procédural » qui crée des données d'entraînement 3D de haute qualité pour la recherche en vision par ordinateur
• Il fonctionne sous Blender et est proposé gratuitement en open source via la licence BSD 3-Clause

Fonctionnalités principales

Génération procédurale (Procedural)

• Tous les motifs de forme et de matériau sont générés aléatoirement selon des règles mathématiques.
• Les structures macro ainsi que les détails fins peuvent être générés.
• Une infinité de variations et un fort potentiel de personnalisation sont possibles.

Diversité des données (Diverse)

• Possibilité de générer différents objets et scènes, tels que des plantes, des animaux, des terrains, du feu, des nuages, de la pluie et de la neige, inspirés du monde naturel.
• L'accent initial est mis sur les environnements naturels, mais une extension vers les artefacts artificiels et les scènes architecturales est prévue.

Géométrie réelle (Real Geometry)

• Toute la géométrie détaillée est réellement implémentée, garantissant des données 3D précises.
• Les techniques de détails synthétiques comme les bump maps ou les normal maps ne sont pas utilisées.
• Optimisé pour la vision par ordinateur, en particulier pour la recherche en vision 3D.

Annotations automatiques (Automatic Annotations)

• Génération automatique d'annotations de haute qualité, comme le flux optique, le flux de scène 3D, la profondeur, la normale de surface, la segmentation panoptique, les frontières d'occlusion, etc.
• Un accès utilisateur complet au processus de rendu facilite la personnalisation des annotations.

--

Publications scientifiques

1. Infinite Photorealistic Worlds Using Procedural Generation

   • Présenté à l’IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) en 2023
   • Un article consacré aux possibilités infinies de la génération procédurale 3D.

2. Infinigen Indoors: Photorealistic Indoor Scenes using Procedural Generation

   • Prévu pour CVPR 2024
   • Une recherche sur l'approche procédurale pour la génération de scènes d'intérieur.

[GN⁺]

Commentaires Hacker News

• C'est un projet vraiment impressionnant

  • J'ai une question pour les chercheurs ML/AI : y a-t-il des papiers ML/AI liés à cela, par exemple sur l'entraînement de robots dans un environnement virtuel ?
  • Je me demande quels jeux de données sont utilisés actuellement dans le domaine ML/AI pour entraîner des robots

• Les scènes en intérieur sont parfaitement réalistes, mais les scènes en extérieur sont nettement faibles. Ça semble en retard par rapport aux technologies les plus récentes

• J'ai remarqué que la liste des auteurs inclut plusieurs universités chinoises renommées. Je me demande si cela signifie une violation des règles d'embargo/contrôles à l'exportation sur les puces

• Je me demande si ce travail a déjà été publié auparavant. C'est beau, mais j'ai l'impression que cela existe depuis quelques années. J'aimerais savoir s'il y a eu une mise à jour

• Lien de la publication précédente : https://news.ycombinator.com/item?id=36373494

• Ce n'est pas clair dans le README. Je me demande s'il signifie qu'on peut générer des variations infinies, ou qu'il génère un monde infini

• La description des meta tags doit être mise à jour, car un contenu placeholder s'affiche lors du partage

• Le fait que ce soit possible dit quelque chose de l'univers. Il y a bien moins d'informations dans l'environnement que ce que l'on pense

  • Cela peut en particulier expliquer pourquoi les petits cerveaux des animaux sont remarquablement efficaces pour modéliser et opérer dans le monde

• La séquence d'introduction à la Matrix est totalement sans subtilité