Windrecorder - une application Windows open source pour rembobiner et rechercher tout ce qui apparaît à l’écran

• Il arrive parfois qu’on essaie de se rappeler quelque chose qu’on a lu ou vu auparavant, sans parvenir à le retrouver même après avoir fouillé dans toutes ses applications
• C’est particulièrement vrai pour les informations dispersées entre plusieurs pages web, vidéos, messages de chat, etc. : elles apparaissent puis disparaissent en un instant, si bien que même en ravivant ses souvenirs ou en parcourant l’historique du navigateur, on a l’impression qu’elles n’ont jamais existé
• Pire encore, ces informations ont peut-être été supprimées, masquées ou modifiées

Pourquoi développer une application de stockage de mémoire personnelle

• En tant que personne à la mémoire peu fiable mais qui craint de passer à côté de choses importantes (FOMO), j’ai développé cette application pour Windows
• Les principales inspirations viennent du concept initial de l’application Mac Rewind et de l’épisode 3 de la saison 1 de Black Mirror, "The Entire History of You"
  • L’objectif était de permettre aux personnages d’enregistrer tout ce qu’ils voient et de rembobiner ou rechercher tout ce qui est apparu sur l’écran de leur ordinateur
• Cette application offre aussi plusieurs avantages supplémentaires
  • Une mémoire personnelle immuable stockée en local
  • Aucun risque de perdre des indices de mémoire
  • Possibilité de restaurer le travail en cas de défaillance logicielle
  • Possibilité de retracer l’origine des données téléchargées
  • Possibilité de retrouver des informations qu’on avait négligées par le passé
  • (Personnellement, c’est aussi devenu un outil pour faire des blagues à mes amis)

Comment l’application fonctionne

• Elle enregistre l’écran avec ffmpeg sous forme de petits fichiers découpés en segments de 15 minutes, puis les indexe à l’aide de l’API OCR locale de Windows et d’embeddings d’images
• Il est aussi possible de choisir d’ignorer certains programmes ou certaines zones de l’écran
• Tout cela peut ensuite être rembobiné ou recherché via une interface web locale (titre de fenêtre, mots-clés textuels, description d’image, etc.)
• À partir de ces données, des fonctions de vue d’ensemble ont aussi été ajoutées, comme le temps d’écran quotidien et périodique, des résumés circadiens et la génération d’une lightbox mensuelle

Vie privée et open source

• La protection de la vie privée étant importante, tout se fait uniquement sur l’ordinateur et rien n’est stocké dans le cloud
• Tout a été implémenté de manière transparente en Python, ce qui permet aux utilisateurs de le modifier facilement eux-mêmes (au prix éventuel de performances un peu plus lentes)
• L’application est gratuite, sans abonnement, et les données appartiennent à l’utilisateur

État actuel du projet et plans futurs

• Comme je ne suis pas développeur professionnel, le projet a été créé avant tout par intérêt personnel et par envie de l’utiliser ; il n’est donc peut-être pas parfait et peut encore présenter quelques problèmes
• Cela dit, après l’avoir utilisé pendant un certain temps, je le considère comme mûr et stable
• Si ce projet vous intéresse, vous êtes invité à participer aux discussions, signaler des problèmes ou contribuer pour en faire une meilleure application
• (Je ne sais pas avec certitude s’il existe déjà des applications similaires sur Windows ; je sais qu’il en existe sur Linux, comme Memento. Si vous en connaissez, n’hésitez pas à me le faire savoir)

[GN⁺]

Avis Hacker News

Résumé du projet DejaView :

• Projet développé il y a 20 ans, offrant des fonctions d’enregistrement, de lecture, de recherche et de reprise de l’historique d’utilisation d’un ordinateur de bureau
• Enregistre la sortie d’écran ainsi que l’état des applications et du système de fichiers sous forme de checkpoints, puis capture et indexe le texte affiché avec son contexte
• L’utilisateur peut rechercher toutes les informations visuelles affichées sur le bureau, puis revenir à l’état correspondant à un moment donné pour interagir avec celui-ci
• Fonctionne de manière transparente via la virtualisation, sans modification des applications, du système Windows ni du noyau de l’OS
• Évalué sur de vraies applications desktop : l’enregistrement continu est possible avec un surcoût si faible qu’il est imperceptible pour l’utilisateur, et la recherche comme la lecture sont suffisamment rapides pour un usage interactif

Présentation de projets similaires :

• Le projet open source rem pour macOS a été présenté sur HN et a suscité une discussion animée
• Il existe aussi le projet commercial TimeSnapper pour Windows

Avis sur le projet :

• C’était une idée que certains avaient depuis longtemps, et voir quelqu’un l’implémenter est émouvant
• Mais cela semble représenter un risque majeur pour la sécurité des données. Il faut réfléchir à des moyens d’empêcher les comportements malveillants de l’application elle-même
• Utiliser des API d’accessibilité au lieu de l’OCR permettrait d’obtenir directement le texte, ce qui serait bien plus efficace. Ce serait aussi une bonne méthode pour relier les LLM à l’interface utilisateur et collecter des données d’entraînement

Exemples passés de projets similaires :

• En 2014, Savant Recall n’a pas été retenu par YC et a été publié en open source
• Racheté par le cofondateur de Napster, le projet a été renommé Atlas Recall, a vu son interface améliorée et a levé 20 millions de dollars, avant d’être revendu à Xinova un an plus tard et brusquement arrêté
• Il y a aussi eu un projet nommé Apse en 2019

Divers :

• D’après la description sur GitHub, le volume d’enregistrement attendu serait d’environ 100 à 200 Go par an, ce qui n’est pas si mal
• Félicitations pour avoir bien exécuté une idée nouvelle. C’est encourageant pour tous ceux qui se disent : « Pourquoi ce genre d’app n’existe-t-il pas ? »
• Cela ressemble à Apse.io, avec un index interrogeable construit à partir de tout ce qui s’affiche à l’écran via OCR. L’aspect open source de Windrecorder est appréciable
• Ce serait facile à vendre 5 $ par poste aux grandes entreprises cherchant à installer un spyware sur les postes de travail de leurs employés