Parcourir une maison à taille réelle avant sa construction avec Vision Pro

• Transformer les plans d’une maison en espace 3D immersif à taille réelle avant de la construire permet de revoir la conception en ressentant directement la taille des pièces et des couloirs, les circulations et la vue depuis l’entrée
• Le flux de travail consiste à créer sols, murs et plafonds dans Fusion 360, à ajouter matériaux et meubles, puis à exporter en USDZ pour l’explorer sur Vision Pro
• On peut trouver des modèles de lits, bureaux, appareils électroménagers et voitures sur IKEA et 3D Warehouse, mais pour les importer dans Fusion 360, il faut convertir les fichiers glb ou USDZ en OBJ
• Prospector, créé avec Claude et Codex, prend en charge le déplacement à la manette, le suivi du terrain, le vol, le basculement vers la vue réelle, le déplacement à vitesse x6 et une skybox, ce qui permet une exploration plus libre qu’avec le visualiseur USDZ de base
• Les modifications de conception sont prises en compte en modifiant le modèle dans Fusion 360 puis en l’exportant à nouveau, et l’outil peut servir à comprendre l’espace avant construction et à recueillir l’avis de son conjoint ou d’amis

---

Une perception de l’espace difficile à saisir avec de simples plans

• Après avoir vécu en appartement, construire une première maison obligeait à prendre d’innombrables décisions difficiles à annuler plus tard, comme l’emplacement des murs
• Dans un contexte où les maisons coûtent cher, chaque mètre carré doit être utilisé efficacement, mais il était difficile de comprendre la sensation réelle de l’espace à partir des seuls rectangles noirs d’un plan PDF et de mesures comme 13×15 pieds
  • Le couloir paraîtrait-il étroit ?
  • Que verrait-on en entrant pour la première fois dans la maison ?
  • Quelle impression donnerait réellement la taille de chaque pièce ?
• Le Vision Pro, avec son écran haute résolution et ses nombreux capteurs, a été choisi comme appareil pour entrer directement dans une maison virtuelle

Créer un modèle de maison avec Fusion 360

• Dans Fusion 360, gratuit pour les amateurs, le plan a été dessiné en 2D, puis les murs ont été extrudés et les sols, plafonds et ouvertures de portes ajoutés
• Le projet se prête bien à un premier apprentissage des outils de conception 3D, car il est possible de commencer sans modélisation complexe
  • YouTube et les questions posées à l’IA peuvent servir de supports d’apprentissage
  • Si le faire soi-même est trop difficile, on peut trouver sur Fiverr quelqu’un pour convertir un plan en fichier 3D
• Un espace composé uniquement de murs et de plafonds vides ressemble à un entrepôt et peut faire mal évaluer les dimensions ; il faut donc ajouter meubles et matériaux pour créer des repères visuels

Ajouter de la profondeur à l’espace avec les matériaux

• Dans Fusion 360, la touche A ouvre le panneau Appearance, qui permet de glisser-déposer des matériaux comme le bois, la pierre ou la peinture sur les objets
• Cela réduit l’effet de surfaces uniformes et monotones et ajoute de la profondeur à l’espace ; il est aussi possible d’appliquer un matériau verre aux fenêtres

Utiliser des modèles de meubles IKEA

• Placer un canapé, un lit, un bureau ou un tapis permet d’évaluer plus réalistement la taille des pièces et les possibilités d’aménagement
• IKEA possède des modèles 3D pour de nombreux produits, mais il a été difficile de trouver une fonction de téléchargement direct
  • Le script IKEA 3D Model Download Button pour Tampermonkey permet de télécharger les modèles
  • Tous les produits ne sont pas pris en charge, mais un grand nombre disposent d’un modèle 3D
• Les fichiers téléchargés étant au format glb, l’outil de conversion GLB-to-OBJ a été utilisé pour les rendre importables dans Fusion 360
• Les matériaux placés dans le même dossier que l’OBJ converti peuvent ne pas apparaître dans Fusion 360, mais ils s’affichent correctement après un nouvel export depuis Fusion

Importer électroménager et voitures depuis 3D Warehouse

• 3D Warehouse est une communauté où les utilisateurs publient gratuitement des modèles 3D ; on y trouve aussi des objets difficiles à obtenir chez IKEA, comme un robot pâtissier, un cuiseur à riz ou une voiture
• Importer un modèle dans SketchUp est facile, mais l’utiliser directement dans Fusion 360 est difficile ; la prévisualisation 3D d’iOS a donc servi de détour
  • Ouvrir l’URL du modèle sur iOS pour le voir en 3D dans l’environnement courant
  • Appuyer sur le bouton de partage pour extraire le fichier USDZ utilisé par la prévisualisation
  • Le transférer vers le Mac avec AirDrop
• Fusion 360 important mal les objets USDZ, ceux-ci ont été placés après conversion via l’outil USD-to-OBJ

Les limites du visualiseur USDZ par défaut

• Le modèle terminé peut être enregistré avec la fonction d’export USDZ de Fusion 360, puis envoyé au Vision Pro par AirDrop
• Même si l’app Fichiers permet d’ouvrir le modèle et de s’y promener, se déplacer dans toute la maison virtuelle à l’échelle des vraies pièces peut conduire à heurter des meubles ou des murs réels
• Pour explorer en sécurité et librement un grand espace virtuel, il fallait un moyen de déplacement remplaçant la marche physique

Création de Prospector et fonctions d’exploration

• En utilisant Claude et Codex ensemble, un visualiseur USDZ pour Vision Pro, Prospector, a été créé en une demi-journée
• Plutôt que de passer des semaines à le peaufiner, c’est un exemple de vibe coding où les fonctions nécessaires à une expérimentation personnelle ont été implémentées rapidement
• Des fonctions d’exploration absentes de l’affichage USDZ de l’app Fichiers ont été ajoutées
  • Déplacement à la manette : se déplacer et tourner la caméra comme dans un jeu 3D, tout en pouvant aussi marcher réellement et bouger la tête
  • Skybox : afficher un simple décor de forêt à la place de l’espace réel au-delà des fenêtres
  • Suivi du terrain : en appuyant sur la croix directionnelle droite, le déplacement suit les dénivelés d’un terrain créé à partir de données topographiques
  • Bascule vers la vue réelle : rapprocher brièvement le pouce et le majeur pour activer ou désactiver le monde virtuel et vérifier les obstacles du monde réel, comme une table
  • Vol : utiliser les gâchettes pour monter ou descendre et passer d’un étage à l’autre ; appuyer vers le haut sur la croix directionnelle ramène à la hauteur du sol
  • Déplacement rapide : appuyer à gauche sur la croix directionnelle permet de se déplacer six fois plus vite pour traverser un grand terrain
• On peut passer le casque à son conjoint ou à des amis pour revoir la conception ensemble ; les changements sont pris en compte en les modifiant dans Fusion 360, puis en réexportant et relançant le modèle

Lancer soi-même depuis GitHub

• Le code source de Prospector est publié sur GitHub, mais un travail supplémentaire serait nécessaire pour le polir au niveau d’une soumission sur l’App Store
• La procédure d’exécution est la suivante
  • Importer le fichier USDZ dans le projet Xcode
  • Dans ImmersiveView.swift, remplacer le nom du fichier USDZ par celui de son propre fichier
  • Si nécessaire, remplacer la skybox par un arrière-plan de Poly Haven
  • Associer une manette au Vision Pro et lancer le projet sur l’appareil réel
• Le code a, dans les faits, été écrit par l’IA, et l’implémentation actuelle est brute et destinée à une expérimentation personnelle

Revue immersive de la conception d’une maison

• L’architecte a présenté la future maison sous forme de parcours 3D dans Revit, où l’on pouvait se déplacer en cliquant sur des points comme dans Google Street View et faire glisser la vue pour regarder autour de soi
• Sur Vision Pro, il est possible de regarder autour de soi comme si l’on se trouvait dans l’espace et d’en ressentir les dimensions ; ainsi, la structure de la maison semblait déjà familière avant même de voir le parcours Revit ultérieur
• La possibilité de visiter une conception potentielle en 3D immersive pourrait devenir une étape clé des futurs processus de conception de maisons, et elle est déjà réalisable aujourd’hui si l’on dispose du matériel nécessaire

[GN⁺]

Avis sur Hacker News

• Il serait intéressant de calculer la hauteur du soleil et son azimut selon les saisons et les heures de la journée afin de simuler la lumière qui entre dans la maison. On pourrait vérifier si une pièce particulière surchauffe en été à cause du soleil direct, exploiter au mieux l’ensoleillement hivernal, et augmenter les chances de tomber par hasard sur un lever ou un coucher de soleil

  • Je l’ai effectivement appliqué pour voir les couchers de soleil, et il existe plusieurs excellents sites web qui indiquent la direction du lever et du coucher du soleil à certaines dates de l’année

• Je dirige une entreprise de conception-construction dans les Hamptons, aux États-Unis, et nous utilisons cette technologie tous les jours. Nous commençons tous les projets avec une approche 3D d’abord, en créant une esquisse dans Rhino3D ou Revit, puis en la rendant avec Enscape avant de l’envoyer sur Quest 3
  Une fois le point de vue réglé à la taille réelle du client, le faire marcher dans sa future maison lui permet de comprendre intuitivement l’échelle et les proportions des pièces, la hauteur sous plafond et jusqu’aux petits détails ; dans des limites raisonnables, nous pouvons modifier le modèle en temps réel et obtenir un retour immédiat. Nous l’utilisons depuis des années, et je suis surpris que l’adoption soit si lente, mais pour l’instant cela nous donne un avantage concurrentiel

  • Vers 2021, lors de la rénovation d’une maison, nous avons utilisé la combinaison SketchUp·Enscape·Quest 2, ce qui a fortement réduit le nombre de fois où ma femme a voulu déplacer à nouveau des murs une fois les travaux terminés
  • En lisant cette histoire, j’ai failli quitter mon emploi pour revenir à l’architecture, ma passion d’origine. Je conçois actuellement une maison dans Blender et prévois de l’importer dans Unreal Engine pour m’y promener ; si les compétences full-stack nécessaires pour le faire restent rares, cela ressemble à une voie aussi amusante que je l’imaginais
  • Je me demande si la valeur de la VR/AR réside surtout dans la transmission de l’intention de conception à des clients qui ne sont pas habitués aux plans 2D traditionnels, ou si les concepteurs l’utilisent aussi directement pendant le développement
  • Je me demande si l’on réserve réellement un bâtiment ou un espace vide de la taille d’une maison sur mesure classique. Ce doit généralement être assez grand, et j’aimerais aussi savoir si l’aperçu est découpé par zones
  • Je doute qu’Apple continue d’investir des dizaines de milliards de dollars dans un appareil professionnel de niche qui se vend à quelques milliers d’unités par mois. À l’exception du SoC, le Vision Pro est un matériel dédié, et il ne partage pas non plus ses coûts de R&D et de production avec d’autres gammes de produits comme le Mac Pro
    Ces 2,5 dernières années ont montré qu’il n’existe pas de marché grand public, et même Meta semble se tourner vers des lunettes après avoir dépensé plus de 100 milliards de dollars dans Quest et vendu environ 30 millions d’unités. À part quelques cas d’usage en entreprise, toute cette catégorie de produits semble être un échec

• Il y a presque dix ans, lorsque je concevais une maison, j’ai utilisé un HTC Vive et https://irisvr.com/prospect/. Une fois le casque sur la tête, il suffisait d’une seconde pour savoir si les proportions de l’espace étaient correctes ou s’il fallait de petits ajustements ; c’était très utile, et certaines parties de la maison terminée donnaient exactement la même impression que la simulation à laquelle je m’étais habitué

  • Fait intéressant, l’auteur a lui aussi nommé son outil Prospector. Je me demande si c’est le résultat d’une suggestion d’un LLM proche du produit existant Prospect, mais c’est peut-être extrapoler un peu trop

• Le Vision Pro dispose déjà du meilleur matériel, mais il lui faut un système d’exploitation réellement pratique qui aille au-delà du kiosque multimédia. Il ne devrait pas seulement afficher un écran de Mac : il devrait pouvoir disposer naturellement dans l’espace toutes les fenêtres du Mac et les fenêtres de contenu 3D
  En améliorant l’usage de l’espace visuel et l’ergonomie physique, et en supprimant les obstacles à l’extension vers des fonctions 3D utiles, il pourrait créer une expérience façon NeXT qui se développe au-dessus de macOS/Mac, plutôt qu’une simple nouvelle caisse enregistreuse iOS

• Christian est un excellent développeur, créateur d’Apollo, la meilleure expérience Reddit de tous les temps. Depuis qu’Apollo a été bloqué puis a disparu, je n’utilise quasiment plus Reddit, sauf quelques visites occasionnelles via la recherche Kagi ; l’app était si bonne qu’elle pouvait pousser un utilisateur Android pur et dur à acheter un iPhone rien que pour elle

  • Quand j’ai dit que j’arrêterais Reddit après la fin d’Apollo, j’étais sceptique sur ma capacité à le faire, mais cela ne m’a pas du tout semblé être un sacrifice. L’application officielle est tellement mauvaise que la navigation n’a rien d’agréable, et le web mobile insiste pour installer l’app ; désormais, je n’ouvre presque même plus les posts qui apparaissent dans les résultats de recherche
  • J’ai essayé de sideloader Apollo avec AltStore, mais entre les crashs et les échecs de lancement, il était difficile de le garder stable
  • Heureusement, Voyager pour Lemmy est devenu le successeur spirituel d’Apollo. La nouvelle interface de Reddit est atroce, et il est difficile de croire qu’ils n’aient pas racheté Apollo, mais au moins cela m’a permis de décrocher de Reddit
  • Apollo Reborn, qui utilise sa propre clé d’API, reste utilisable. Sur Android, j’utilise une application Reddit modifiée, et sur Firefox, old.reddit ; Reddit a trop de valeur pour être totalement abandonné
    Quand je cherche des recommandations précises, je demande aussi aux LLM de consulter Reddit
  • Après la fin d’Apollo, mon usage de Reddit est tombé à moins d’un dixième, et avec le recul c’était peut-être une bonne chose

• Une fois la maison terminée, il pourrait être encore plus utile pour suivre le trajet des câbles électriques et de la plomberie dans les murs. Le modèle Revit peut contenir les informations réelles, ou au moins les plans, ce qui aide particulièrement dans les vieilles maisons où il faut improviser pour installer du câblage Ethernet
  Cela dit, en pratique, je l’utilise surtout pour regarder des médias en 4K HDR. Il n’a pas vraiment répondu aux attentes d’un appareil polyvalent et pratique, mais la lecture multimédia est tellement excellente que cela se comprend dans une certaine mesure

• La plupart des fonctionnalités présentées ici semblent réalisables aussi avec ARKit sur iPhone. Même si le casque est meilleur, difficile de dire qu’il vaut 3 500 dollars de plus qu’un affichage sur l’écran d’un téléphone.
  Lors d’un déménagement, j’ai scanné mon appartement avec un iPhone pour créer un modèle 3D, l’utiliser pour mesurer les dimensions et placer les meubles, et j’ai aussi scanné mon ancien logement avant de partir afin de pouvoir y entrer virtuellement à tout moment. Finder et Aperçu prennent déjà en charge nativement l’affichage en AR de modèles 3D.

  • Je serais curieux de connaître tout le workflow, l’app de scan utilisée, le format du modèle 3D généré et l’outil de planification de l’espace. Avec 3d scanner app, j’ai obtenu un modèle plutôt correct, mais comme il reposait sur le LiDAR, la précision était insuffisante, et il était difficile de faire correspondre le modèle, dont les erreurs s’accumulaient, au vrai plan.
    Pour l’agencement des meubles, même un pouce compte : si un mur de 100 pouces devient 99 ou 101 pouces, c’est problématique. J’aimerais savoir comment créer un modèle aux dimensions aussi exactes que possible et y placer des modèles 3D de meubles.
  • J’ai utilisé plusieurs apps AR similaires à ce que proposait IKEA pour vérifier si des produits s’intégraient dans un espace réel, et j’ai aussi participé à un projet VR pour l’intérieur d’une voiture. En AR sur téléphone, il faut deviner la taille et la perception de l’espace ; en VR, on les ressent réellement, et les réactions de surprise en retirant le casque et en se retrouvant dans une petite pièce étaient marquantes.
    Je voulais scanner des lieux pour en garder un souvenir, mais les apps adaptées n’étaient ni faciles à trouver ni faciles à utiliser.
  • Avec un Meta Quest 2 d’occasion, c’est possible pour environ 100 dollars.
  • Pour un projet personnel à budget limité, l’approche iPhone est la bonne, mais si c’est utilisé dans une proposition commerciale, 3 500 dollars peuvent être un investissement pour augmenter le chiffre d’affaires.
  • ARKit m’est venu en tête en premier, et le marché adressable est aussi bien plus vaste.

• Créer un monde 3D et s’y promener ressemble à une fonctionnalité standard de tous les casques VR ; je ne vois pas ce qu’il y a de spécial.

  • La fonctionnalité elle-même et une application concrète qui l’exploite sont deux choses différentes.
  • Il y a environ 15 ans, on organisait déjà des hackathons sur ce concept avec l’Oculus Rift DK1.
  • Appliqué à la rénovation de logements, la grande différence n’était pas la VR en soi, mais l’alignement AR. Pouvoir voir directement où les changements virtuels s’articulent avec l’espace réel change énormément de choses.
  • D’un côté, c’est un jouet ; de l’autre, c’est un outil pour détecter les erreurs avant d’investir des centaines de milliers de dollars.
  • Le suivi positionnel à l’échelle d’une pièce dont parle l’article n’est apparu sur les premiers casques grand public qu’en 2016. Dans les années 1980 à 2000, la plupart ne permettaient que le suivi de la tête, et le suivi positionnel en temps réel nécessitait du matériel bien plus coûteux et de fortes contraintes d’espace.
    Pour cartographier de grands espaces, il faut un suivi positionnel à faible latence et un suivi à références internes, quasiment indispensables pour parcourir plusieurs pièces. Le monde 3D doit aussi tenir dans un budget de calcul graphique plus de deux fois supérieur à celui du casque, donc le fait d’exporter directement depuis Fusion en USDZ et de le rendre montre les performances de l’AVP. Composer la vidéo du monde réel avec la 3D et appliquer l’éclairage, les reflets et la transparence était également, autrefois, assez difficile pour nécessiter plusieurs grosses machines très coûteuses.

• J’ai scanné une salle d’escalade locale et projeté des vidéos de grimpe sur les murs : https://kmcheung12.github.io/climb-preview/w/a6ece004
  Les applications 3D sont largement sous-exploitées, et il existe tout un domaine d’interactions que le Web textuel ne peut pas offrir.

  • C’est vrai qu’elles sont sous-exploitées, mais je me demande si elles apportent assez de valeur pour justifier le coût nécessaire à leur adoption plus large.

• N’importe quel casque VR récent pourrait le faire, mais ça reste une utilisation assez sympa.

  • À lire les réactions, je m’attendais à un résultat très haut de gamme et raffiné, mais en réalité c’est quelque chose qu’on peut faire avec un casque dix fois moins cher.
  • Je m’attendais à une app qui fonctionne comme un télémètre laser d’intérieur en version VR. Ce serait bien si, quand on prend une planche, la VR indiquait où l’installer, et qu’un autre ouvrier, casque sur la tête, puisse la fixer sur un montant avec une précision inférieure au millimètre.
  • En voyant le titre et le nombre de recommandations, j’ai cru avoir découvert un nouveau cas d’usage justifiant le prix de ~~3 500 dollars~~ 3 700 dollars, mais j’ai été très déçu.
  • On pourrait le faire même avec Google Cardboard.