Keyboard Connect : plateforme de cours de piano à distance basée sur l’API Web MIDI

• Il s’agit d’un service qui cherche à réduire la difficulté de gérer simultanément la voix, la vidéo et les entrées du clavier dans les cours de piano à distance grâce à une visioconférence web avec partage MIDI
• Les fonctions principales sont Video Calling et MIDI Sharing, avec une mise en avant d’une transmission chiffrée en P2P
• Le File Sharing est annoncé prochainement, tandis que Lesson Planning et Record Playback sont indiqués comme prévus plus tard
• Le service compare les configurations existantes, comme un contrôleur MIDI·DAW·logiciel de routage ou un piano numérique·interface audio, en soulignant leur coût élevé et leur complexité de configuration
• Keyboard Connect abaisse la barrière d’entrée avec une configuration centrée sur un contrôleur MIDI et une webcam, et les professeurs peuvent contacter l’équipe par e-mail ou en réservant un appel de 30 minutes

---

Fonctions adaptées aux cours de piano à distance

• Keyboard Connect est un service de visioconférence pour professeurs de piano qui vise un environnement de cours où les élèves peuvent participer de façon plus concentrée pendant les leçons à distance

• Fonctions principales actuellement disponibles

  • Video Calling

  • MIDI Sharing

    • Le service met en avant une P2P Encrypted Transmission comme mode de transmission

• Fonctions prévues et outils d’apprentissage

  • File Sharing : bientôt disponible
  • Lesson Planning : disponible plus tard
  • Practice Tools
  • Record Playback : disponible plus tard
  • Pour les professeurs, le service met en avant une meilleure expérience de cours afin d’aider à retenir les élèves, et pour les élèves, une participation accrue afin d’améliorer les résultats d’apprentissage

Comparaison des coûts avec les configurations de cours à distance existantes

• Le service explique que, pour qu’un nouvel élève puisse transmettre à la fois la voix et le son du piano en appel vidéo, il fallait jusqu’ici une configuration matérielle plus coûteuse et plus complexe
  • MIDI controller + DAW + piano VST + routing software : environ 200 $
  • Digital piano + audio interface + routing software : environ 600 $
  • Acoustic piano + high quality mic + room treatment : environ 3000 $
• Keyboard Connect compare cela à une configuration où il suffit de connecter un MIDI controller, avec un démarrage possible à partir de 60 $
• Il met aussi en avant la différence d’équipement pour une configuration montrant à la fois le musicien et une vue plongeante du piano
  • Configuration existante : two cameras + mounting equipment + OBS/USB switcher, environ 150 $
  • Configuration Keyboard Connect : webcam, 0–40 $
• Les professeurs de piano peuvent transmettre les détails de leur travail à l’équipe du service via l’e-mail [e-mail] ou en réservant un appel de 30 minutes

[GN⁺]

Avis de Hacker News

• Pendant le Covid, je devais préparer des cours de piano à distance. J’ai essayé de combiner deux vidéos pour montrer à la fois les mains sur le clavier et le visage, mais à l’époque la latence était beaucoup trop élevée.
  Au final, je n’ai utilisé qu’une seule caméra filmant d’en haut, et j’ai placé une plaque d’acrylique transparente à 45 degrés devant l’ordinateur portable posé là, avec un éclairage dirigé vers le visage du pianiste. Cet effet s’appelle Pepper's Ghost.
  Grâce à cela, le professeur pouvait voir avec une seule caméra à la fois les mains sur le clavier et le visage de l’interprète, et celui-ci semblait regarder droit vers la caméra, comme avec un prompteur automatique. Je laisse ça ici au cas où cela pourrait aider quelqu’un.

  • Ça a l’air assez intéressant. J’aimerais voir à quoi ressemble ce montage en fonctionnement réel, ou un exemple.
  • Je me demande si « combiner deux vidéos entraînait une latence trop élevée » était dû à une limite CPU.
    OBS n’ajoute pas autant de latence quand on combine plusieurs sources en même temps, et on peut au moins les synchroniser avec le son.

• Concept vraiment excellent, et félicitations pour le lancement.
  Ces dernières années, je développais moi-même une appli Web MIDI [0], et j’envisageais aussi depuis un moment une fonction multijoueur. Je suis curieux de connaître le niveau de latence.
  Ce serait bien d’avoir, sur la landing page, un exemple vidéo montrant l’application. Il me semblerait aussi préférable de laisser les visiteurs essayer d’abord le piano, puis de ne leur demander de se connecter que lorsqu’ils veulent utiliser les fonctions à distance. Les boutons sur lesquels on peut cliquer/sélectionner, mais qui ne font rien quand on les presse, étaient un peu déroutants.
  Dans l’appli, le clavier s’est connecté sans problème et il n’y a pas eu de demande d’autorisation, mais ce serait bien d’indiquer qu’un appareil MIDI est connecté. Cliquer sur les touches à la souris ne produisait aucun son, et quand j’appuyais sur une touche avec mon clavier MIDI Yamaha P120, la touche restait sélectionnée et je ne pouvais l’actionner qu’une seule fois. Il semble que les événements noteOff ne soient pas enregistrés ; je recommande donc de traiter aussi les noteOn dont la velocity est à 0 comme des noteOff, et, si un noteOn arrive sur une note déjà en cours de lecture, d’appeler explicitement noteOff pour éviter les touches bloquées.
  J’aimerais aussi que les touches ne soient pas automatiquement masquées selon la taille de l’écran. C’est peut-être plus joli, mais il faut penser aux personnes qui voudront jouer sur tablette/téléphone sans pouvoir changer l’échelle. Le concept est vraiment bon, bonne chance pour la suite du développement. Si tu as besoin d’aide, n’hésite pas à me contacter :-)
  [0] app.midiano.com

  • Content de voir qu’il y a un autre utilisateur de HN sur la même longueur d’onde :) Je vais essayer l’appli et envoyer des retours. En attendant, il y a peut-être aussi des idées à reprendre sur pianojacq.com.
  • Merci beaucoup pour les retours, toutes les suggestions sont utiles. Je vais apporter des modifications en m’appuyant sur chacune d’elles.
    Je n’ai pas mesuré directement la latence, mais j’ai testé avec ma petite sœur qui vit à l’autre bout des États-Unis, tout en gardant un appel téléphonique ouvert. Quand elle parlait ou jouait une note, je l’entendais d’abord dans l’appli plutôt qu’au téléphone ; c’est donc au moins mieux que le téléphone.

• Ça a vraiment l’air formidable et j’ai envie de l’essayer.
  En tant qu’élève, une plateforme à deux faces ne m’intéresse pas vraiment. C’est pourtant ce que vous semblez vouloir construire ; ce que je veux, c’est pouvoir réserver sur le site des cours de piano validés et acheter l’adaptateur USB MIDI recommandé.
  Pour un MVP à court terme, il serait bien de recommander, via un site avec un programme d’affiliation, des adaptateurs dont le fonctionnement a été vérifié. À plus long terme, vous pourriez envisager de trouver une entreprise qui les vendrait en marque blanche avec son logo et son site web, mais c’est beaucoup moins important que les autres choses que vous construisez actuellement, donc cela peut attendre.
  Pour les premières leçons, puis pour l’entraînement ensuite, ce serait bien d’avoir des leçons préenregistrées automatisées permettant d’acquérir les bases ou de s’entraîner à lire rapidement une partition.

  • À propos de l’« adaptateur USB MIDI », en réalité, USB MIDI est le plus petit dénominateur commun des claviers MIDI. Si vous récupérez un clavier MIDI d’occasion de moins de 10 ans, il y a de fortes chances qu’il ait de l’USB, et un modèle à 40–60 dollars sur Craigslist suffit largement.
    Pour les débutants, le plus grand choix concerne le nombre de touches et l’espace disponible. Il y en a de 25 à 88 touches.
    Quand le prix augmente, selon les modèles, on commence à trouver des entrées/sorties MIDI 5 broches à l’ancienne, des touches sensibles à la vélocité, des claviers semi-lestés ou à mécanique marteau, de l’aftertouch, une entrée pour contrôleur au pied, des pads/boutons/faders pour contrôler un DAW, un séquenceur intégré, des entrées/sorties de synchro externe, des sorties CV et gate pour se connecter à du matériel modulaire, etc.
  • Ça existe déjà, avec un marché assez solide et plusieurs fournisseurs. Pendant le Covid, j’ai utilisé https://pianomarvel.com/ pendant un moment, et c’était plutôt efficace.
  • Les suggestions sont très bonnes et la direction me semble juste. Je vais explorer cette piste pour développer la plateforme.

• J’aimerais donner un retour en tant que professeur et élève, mais sur le site web, à part quelques petites animations, il n’y a aucun moyen de voir concrètement ce que ça fait ni comment ça fonctionne.
  Au minimum, une vidéo de démo YouTube serait utile ; idéalement, un accès direct à une vraie interface de démo le serait encore plus.
  Je pensais que Getting Started pourrait aider, mais cela m’a forcé à passer par un parcours d’inscription dans lequel je ne veux pas investir avant d’en savoir plus sur le résultat.

  • Exact. Le fait de placer une connexion obligatoire entre la landing page et l’appli me gênait aussi. Je vais créer une vidéo de démo plus complète et la rendre visible avant l’inscription.

• D’après ce que j’ai entendu, les contrôleurs MIDI ne seraient pas adaptés à l’apprentissage du piano. Pour acquérir de bonnes habitudes et développer la force des doigts, il faudrait un clavier à mécanique marteau et les 88 touches complètes.
  Comme j’ai moi-même pris des cours en présentiel sur un vrai piano, je ne peux pas parler personnellement de l’apprentissage avec un contrôleur MIDI, mais ça paraît plausible.

  • Le fait que ce soit MIDI ne signifie pas automatiquement qu’il n’y a pas de clavier à mécanique marteau.
    Tous les pianos numériques ont de l’USB MIDI, et on trouve facilement sur Craigslist des modèles d’occasion avec mécanique marteau pour quelques centaines de dollars.
    Mon Yamaha U1 était aussi livré avec un boîtier permettant de le connecter en MIDI.
  • À mon avis, il faut pas mal de temps avant que des facteurs autres que le fait que l’élève soit réellement impliqué dans le jeu et continue régulièrement deviennent importants.
    De ce point de vue, un clavier MIDI en plastique bon marché, facile à trouver et facile à poser, peut être meilleur qu’un Steinway. À ce stade, avoir quelque chose à portée de main compte davantage que d’avoir l’instrument parfaitement adapté.
    Je dis ça en tant que diplômé en musique, mais ce n’est évidemment pas un point de vue universel.
  • On peut aussi acheter des claviers MIDI 88 touches à mécanique marteau.
    Même parmi les pianos électriques comme les Wurlitzer ou les Rhodes, beaucoup ont moins de 88 touches et seulement une mécanique semi-lestée.
  • Je suis d’accord pour dire qu’un clavier à mécanique marteau est préférable, mais la raison n’est pas la « force des doigts » : c’est le développement de la coordination des doigts.
    Les doigts sont déjà assez forts pour enfoncer des touches à mécanique marteau. C’est encore plus vrai quand on apprend à utiliser la gravité dans la technique.
    Les touches à mécanique marteau sont importantes pour développer la coordination, car la résistance des touches permet de calibrer le lien entre le toucher et le son produit. Il faut à la fois un retour kinesthésique et un retour auditif.
  • En réalité, chaque piano a un toucher différent. L’un des inconvénients de cet instrument est qu’on doit souvent jouer sur le piano disponible sur place, à l’exception des pianos numériques portables mentionnés plus haut.
    Même si vous n’avez qu’un clavier numérique, j’espère que cela ne vous empêchera pas d’apprendre.

• Félicitations pour le lancement.
  Je recommanderais d’enregistrer la vidéo du point de vue de l’interprète. Pour l’élève, cela ajoute une étape d’abstraction, puisqu’il doit mentalement inverser l’image.
  À moins que l’objectif soit aussi de lui apprendre à lire les gestes d’un pianiste du point de vue du public.

• Il y a aussi https://plugandplink.com/. Cela inclut un composant matériel qui aide l’apprenant, avec un « serpent » qui s’allume.
  L’app contient aussi des vidéos et des leçons préconçues qui interagissent avec le matériel, par exemple des gammes, des arpèges, etc.
  Mon fils l’utilise avec un professeur à distance et ça fonctionne très bien. En plus, le reste de la semaine, il peut guider lui-même sa pratique avec l’app et le serpent.

  • C’est chouette, mais il n’y a pas de version pour piano pleine taille ? Et 125 dollars ?! C’est sans doute parce que c’est une première génération.

• Au début de la pandémie, il me fallait une solution rapide pour les cours de piano de ma fille. J’ai monté une configuration avec OBS, Synthesia et une vieille webcam Logitec qui traînait à la maison. À l’époque, il était presque impossible de trouver une webcam neuve.
  J’envoyais l’image de face de l’interprète avec la caméra du portable, et une vue plongeante du centre du clavier avec la webcam. L’angle de la caméra ne suffisait pas à couvrir tout le clavier. J’envoyais aussi le clavier virtuel de Synthesia. Dans OBS, j’avais préparé trois mises en page avec ces éléments, et on passait de l’une à l’autre avec la barre d’espace.
  Pour l’audio, je mélangeais le micro du portable pour la voix et le son direct du piano électronique. Ça a plutôt bien tenu pendant cette période.
  Il y avait aussi des contraintes qu’une solution améliorée aujourd’hui n’aurait sans doute plus : les professeurs n’arrivaient pas à se mettre d’accord sur un seul logiciel de visioconférence, donc ma configuration devait rester indépendante. Pour cette raison, la prise en charge de la caméra virtuelle OBS s’est imposée presque naturellement.

• D’un point de vue marketing, si je devais changer quelque chose, j’aimerais que dans la vidéo en boucle, le tuteur ait aussi un clavier sous les mains.
  En général, quand un tuteur veut faire entendre une erreur, il explique la partie mal jouée tout en accentuant davantage la bonne version, puis joue lui-même le passage corrigé.
  La vidéo en boucle actuelle donne une impression un peu YouTube, ou celle d’un appel Zoom professionnel assez formel. Ce qui est vraiment particulier dans cette plateforme intéressante, c’est le sentiment de connexion entre le tuteur et l’élève, et cela ressort moins.
  Super plateforme.

  • Bonne suggestion. J’y penserai absolument quand nous réaliserons une vraie vidéo de démo.

• Ça a l’air assez chouette. J’aimerais voir une courte démo YouTube du produit en fonctionnement réel. Je me demande quel est le principal avantage de la fonction MIDI en usage réel.

  • Je ferai absolument une vidéo de démo avant d’exiger une connexion. Afficher le MIDI en temps réel pendant l’appel permet d’éviter la difficulté de devoir montrer et enregistrer à la fois ce que je joue visuellement et les notes que j’appuie.
    Comme le MIDI est représenté numériquement, cela ouvre aussi la voie à la détection d’accords/de gammes, à l’enregistrement et à la lecture, ainsi qu’à l’affichage du jeu en direct sur une partition.