ocap - un enregistreur haute performance qui capture tout sur le bureau

Il s’agit d’un enregistreur open source, ocap (Omnimodal CAPture), conçu à l’origine pour collecter des données de bureau destinées à l’entraînement d’agents IA, mais utilisable aussi pour des usages généralistes.

Les outils d’enregistrement existants comme OBS ne sauvegardent souvent que la vidéo, ou ne permettent pas d’enregistrer plusieurs types de données de manière synchronisée. Pour l’entraînement de l’IA, il faut des données synchronisées indiquant « à quel moment l’utilisateur a appuyé sur quelle touche, où il a déplacé la souris et quelle fenêtre était active ». C’est pour résoudre ce problème qu’il a été créé.

Caractéristiques :

• enregistrement synchronisé à la nanoseconde près de la vidéo d’écran + de l’audio + des événements clavier/souris + des événements de fenêtres
• encodage accéléré matériellement (H265/HEVC, GPU NVIDIA)
• démarrage/arrêt de l’enregistrement avec une seule commande : ocap my-recording → Ctrl+C
• la logique principale tient dans un seul fichier Python (~400 lignes), ce qui facilite la personnalisation
• architecture basée sur GStreamer, extensible à Linux/macOS
• sortie : .mkv (vidéo) + .mcap (journal d’événements, format MCAP déjà éprouvé en robotique)

Installation :

conda install open-world-agents::gstreamer-bundle  
pip install ocap  

Ou bien il suffit de télécharger le zip depuis la page des releases et d’exécuter run.bat.

Le projet a été initialement développé pour le projet de recherche D2E sur l’entraînement de l’Embodied AI à partir de données de bureau (https://worv-ai.github.io/d2e/), mais comme il peut aussi servir d’outil générique d’enregistrement de bureau, il a été séparé en package distinct.

À l’heure actuelle, seul l’environnement Windows + GPU NVIDIA est pris en charge, mais la structure permet de supporter les GPU AMD/Intel ou d’autres OS en modifiant simplement le pipeline GStreamer.

GitHub : https://github.com/open-world-agents/ocap
PyPI : https://pypi.org/project/ocap/