rem (Remember Everything) - l’open source qui permet d’enregistrer et de rechercher tout ce qui se passe sur Apple Silicon

• Enregistre toutes les actions qui se produisent à l’écran de l’ordinateur (prend une capture d’écran toutes les 2 secondes)
• Il est possible de se déplacer dans le temps en faisant défiler vers la gauche/droite dans la vue timeline
  • Si Live Text reconnaît le texte, celui-ci peut être sélectionné
• Il est possible de rechercher un écran avec un mot-clé précis, de voir l’intégralité du contenu OCR de l’écran ou d’envoyer ce texte à ChatGPT, etc. pour effectuer des actions supplémentaires
• Testé uniquement sur Apple Silicon, et les releases sont également réservées à Apple Silicon.
• Version très précoce : écrite en quelques jours pendant les vacances, auteur débutant en Swift

Pour commencer

• Compiler soi-même, ou télécharger une release puis exécuter xattr -c rem.app pour faire approuver l’application par macOS.
• Après le lancement de l’application, cliquer sur "Start Remembering" pour accorder l’autorisation d’accès à "Screen Recording".
• Ouvrir la vue timeline avec "Open timeline" ou "Cmd + Scroll Up".
• Dans la timeline, faire défiler vers la gauche ou la droite pour se déplacer dans le temps.
• Cliquer sur "Search" pour ouvrir la vue de recherche, puis cliquer sur une miniature dans la timeline pour aller à ce moment précis.
• Une fois Live Text activé dans la timeline, il est possible de sélectionner du texte.
• Cliquer sur "Copy Recent Context" pour copier ce qui a été consulté récemment sous forme de prompt destiné à interagir avec un LLM.
• Cliquer sur "Purge All Data" pour supprimer toutes les données.

Fonctionnalités actuellement prises en charge :

• Revenir en arrière (scrubber plein écran de tout ce qui a été vu).
• Copier du texte du passé.
• Rechercher dans tout ce qui a été vu.
• Récupérer facilement le contexte récent pour interagir avec un LLM.

Fonctionnalités souhaitées :

• Recherche en langage naturel / interaction avec des agents via la mise à jour locale des embeddings vectoriels.
• Explorer de nouvelles approches des bases de données vectorielles.
• Prise en charge multi-écran.

[GN⁺]

Avis Hacker News

• Résumé du premier commentaire :

  • Cet outil a l’air impressionnant. Ça me rappelle le moment où j’essayais récemment de libérer de l’espace disque et où je suis tombé sur un enregistrement d’écran de 9 heures datant de presque un an. J’ai dû lancer l’enregistrement par erreur. Le parcourir rapidement et en voir l’ensemble en quelques minutes a été une expérience fascinante, comme un aperçu de mon processus de pensée à l’époque. J’ai pu observer comment je faisais des recherches en ligne, et c’était instructif et utile, un peu comme revoir un match de sport. Revoir les détails de cette période a aussi eu un vrai impact. J’ai créé un outil appelé « DownloadNet » qui archive hors ligne toutes les pages visitées et les indexe entièrement. Il est aussi possible de le configurer pour ne conserver que les pages mises en favoris. Cet outil est open source, donc n’hésitez pas à y jeter un œil : lien GitHub de DownloadNet
  • Pouvoir copier du texte depuis une vidéo enregistrée est remarquable.

• Résumé du deuxième commentaire :

  • Autrefois, j’utilisais un utilitaire appelé TimeSnapper Classic qui prenait des captures d’écran à intervalles réguliers. Mais les captures ont commencé à remplir le disque, et la plupart se ressemblaient presque toutes. Je me suis dit qu’il fallait créer un codec optimisé pour les séquences d’images, avant de réaliser que j’étais en train de réinventer le codec GIF/vidéo. J’ai donc écrit un script qui ajoutait des horodatages aux images avec ImageMagick, puis les convertissait en vidéo avec ffmpeg. Cela a réduit la taille des fichiers de 99,9 %.

• Résumé du troisième commentaire :

  • Il y a longtemps, j’ai travaillé sur un projet qui prenait des captures d’écran toutes les quelques secondes et en extrayait automatiquement des informations. J’ai créé une PNG DB qui découpait les images PNG en plusieurs blocs et stockait chaque bloc dans une base de données. Les blocs identiques n’étaient stockés qu’une seule fois, avec une recherche rapide via une table de hachage. Avec cette PNG DB, j’ai obtenu un taux de compression d’environ 400 à 500 %. lien GitHub de PNG DB Cependant, les scripts d’analyse des captures n’ont finalement pas été très concluants. lien GitHub de screenshooting Cette expérience a mené à d’autres projets dans lesquels je stockais plus directement des informations sur les applications utilisées ou les fichiers ouverts. lien GitHub de timecapture

• Résumé du quatrième commentaire :

  • Vu l’importance que vous semblez accorder à la vie privée et à la sécurité, il est intéressant que vous utilisiez un navigateur web closed source (Arc Browser).

• Résumé du cinquième commentaire :

  • Je veux un outil de ce type qui soit vraiment multiplateforme et fonctionne en local. Linux et Windows sont indispensables, et il doit être 100 % hors ligne, utilisable sans Internet. Je serais prêt à payer 60 dollars par an pour chaque version majeure. Si on y ajoutait une licence open source permissive, je deviendrais client à vie. Si d’autres sont intéressés, il faudra peut-être que je le développe moi-même.

• Résumé du sixième commentaire :

  • À propos de « Remember Everything » : j’utilise l’extension de navigateur « singleFile » pour sauvegarder une copie de toutes les pages web que j’ai vues dans Chrome et FireFox. J’utilise aussi le programme « AutomaticScreenshotter » pour enregistrer l’activité à l’écran en dehors du navigateur. Cela me permet de savoir ce que j’ai fait sur mon PC à n’importe quelle date passée. Tous les fichiers sont stockés dans une arborescence année/mois/jour. Actuellement, j’utilise la recherche Windows pour retrouver les fichiers. J’utilise « ditto » pour enregistrer tous les copier-coller dans une base mysqldb. J’utilise cette structure de répertoires depuis avant 2010, et les extensions ainsi que les captures d’écran depuis environ 3 ou 4 ans. Je me demande s’il serait utile d’utiliser ou d’adapter des outils d’analyse forensique de PC pour construire une frise chronologique de l’activité sur le PC.

• Résumé du septième commentaire :

  • Il sera intéressant de voir comment ces technologies seront utilisées dans 5 ou 10 ans. Nous disposons probablement du dispositif de mémoire le plus puissant jamais conçu, tout en essayant constamment de ne pas l’utiliser, ce qui est intriguant. Sur un plan plus sérieux, je pense que ces outils pourraient nuire à la créativité. On peut prendre l’habitude de s’y appuyer au lieu de se souvenir soi-même, alors que la créativité repose sur la capacité à recombiner des souvenirs du passé avec des idées futures.

• Résumé du huitième commentaire :

  • La démo de l’OP est vraiment très réussie. Je me demande pourquoi c’est réservé à Apple Silicon. Est-ce à cause d’un meilleur support ML que sur Windows ? C’est dommage qu’Olama ne soit pas disponible sur Windows. Je n’ai pas de portable Apple Silicon, seulement un Mac Intel et une machine Windows puissante, donc je ne peux pas tester ça. Je manque aussi d’idées sur la façon de construire quelque chose comme ça à partir de zéro si on n’est qu’un programmeur de base ou sans expérience avec le langage Swift. Si j’étais l’OP, je commencerais probablement par beaucoup de tutoriels Swift. Faire un clone en Java ou en C# pour Linux ou Windows est un souhait, mais je n’ai aucune expérience en ML, en API DirectX ou en API de bureau Linux. Il y a beaucoup d’API et d’outils à maîtriser avant de démarrer un tel projet. Je me demande comment l’OP a pu faire cela sans expérience en Swift, et si développer sur Apple Silicon rend ce genre de projet plus facile. J’ai 4 ans d’expérience et je travaille sur des API web ainsi que sur WinForm/DevExpress en Java et C#.

• Résumé du neuvième commentaire :

  • Je pense qu’on pourrait aussi utiliser cela comme moyen de se rendre des comptes à soi-même. Je me demande s’il serait facile de classer les captures d’écran en activités « perte de temps » et « productives » (sans doute via un modèle de ML). Gamifier les statistiques pourrait aussi être une option. Par exemple, on pourrait voir qu’au cours de la dernière heure, on a été productif à 78 %, sur Hacker News à 12 % et inactif à 10 %. On pourrait essayer de battre ses propres records (par exemple, avoir trois plages de temps 100 % productives dans une journée serait sans doute une excellente journée !). J’aime beaucoup la démo vidéo. J’ai compris en moins de 30 secondes ce que faisait l’outil. Merci ! PPS : (détail très secondaire) le contrôleur de vitesse vidéo (extension de navigateur) fonctionne maintenant avec les vidéos Loom — ce n’était pas le cas il y a quelques mois.

• Résumé du dixième commentaire :

  • Il existe un scénario potentiellement cauchemardesque avec ce type de technologie. Les employeurs adoreraient utiliser ce genre d’outil pour surveiller totalement leurs employés. Relié à une IA, cela permettrait de suivre en temps réel tout ce que fait tout le monde et de déclencher des alertes.