Musique IA + génération automatique de chartes + sandbox de jeu de rythme personnalisable

Bonjour.

Je développe un outil de création de jeux de rythme basé sur le navigateur.
Le concept est simple : une IA crée la musique, Essentia.js analyse les beats, et la logique du jeu est écrite directement en JS.

Démo : https://rhythm-seodang-web.vercel.app/

La plupart des workflows de jeux de rythme sont lourds. Éditeur dédié, chartes faites à la main, patterns de gameplay figés, application réservée au desktop. Je voulais créer quelque chose qu’on puisse ouvrir dans un simple onglet de navigateur et manipuler immédiatement.

Comment ça fonctionne
La génération musicale utilise des services d’IA (Suno/Udio). Pour l’instant, j’ajoute les morceaux moi-même, mais je prévois une intégration. Avec Essentia.js (WASM), le beat tracking, la détection des onsets, la courbe d’énergie et même la segmentation des sections sont traités côté client. La sortie est une charte dédiée au timing, et ce que l’on fait de ce timing ensuite est totalement libre.

Sandbox de mini-jeux
La charte et le gameplay sont complètement séparés. Les règles de spawn, la gestion des entrées et le rendu sont définis par de courtes fonctions JS. Avec une même charte, on peut créer un jeu de tambour style Taiko, un système de swipe directionnel, ou quelque chose de plus expérimental.

Stack technique : Next.js, Essentia.js, PixiJS
État actuel : le projet est encore à un stade très précoce. Je le développe en validant l’idée centrale au fur et à mesure. Il est déjà possible de jouer avec des pistes d’exemple, et la génération de chartes ainsi que l’atelier de mini-jeux fonctionnent globalement. Il reste beaucoup à peaufiner, et le prochain objectif est la génération de musique par IA directement dans la plateforme (prompt → piste → jeu).

Il manque encore beaucoup de choses, mais je vous serais reconnaissant pour vos retours.

[zero0000]

Ce serait bien d’avoir une indication des touches du clavier au début.

[rapina]

Oui !!