MyMallow - Un journal émotionnel en personnage 3D réalisé avec RealityKit

Présentation de MyMallow, une application iOS qui permet aux utilisateurs de personnifier leurs émotions sous forme de personnage 3D et de le personnaliser eux-mêmes. Développé sur 2 mois, ce projet va au-delà de la simple écriture d’un journal en se concentrant sur la « production de contenus 3D participative par l’utilisateur ».

Fonctionnalités principales

• Textures personnalisées : les dessins réalisés par l’utilisateur sur un canvas sont analysés avec le framework Vision, puis mappés en temps réel sur les matériaux du modèle 3D.
• Ma propre capture de mouvement : en plus des 195 mouvements intégrés, il est possible d’enregistrer directement les mouvements de l’utilisateur avec le Body Position Tracking d’ARKit et de les appliquer au personnage.
• NPC à comportement autonome : en combinant la machine à états (State Machine) de GameplayKit avec la recherche de chemin, les personnages agissent de manière autonome selon l’environnement, par exemple en dansant près du feu de camp.

Points clés de l’implémentation technique

• RealityKit & pipeline 3D : les modèles créés avec Blender sont convertis en .usdz, puis la texture et la structure de rigging du modèle sont contrôlées dynamiquement à l’exécution.
• Optimisation du mouvement : pour réduire le bruit dans les données capturées, un filtre passe-bas et le Slerp (interpolation linéaire sphérique) ont été appliqués afin d’obtenir des animations fluides.
• Physique et audio spatial : un espace 3D immersif a été créé grâce à une simulation physique basée sur la détection de collision et à un système de particules prenant en charge le Spatial Audio.
• Intégration des structures de bones : pour résoudre les différences entre les structures de bones de Mixamo (65) et d’Apple ARBody (91), une approche consistant à remplacer le modèle riggé selon le contexte a été adoptée.

Ce projet explore les nombreuses possibilités de RealityKit, bien au-delà d’un simple outil de journalisation.

👉 App Store