Open-Interface : contrôler un ordinateur avec un LLM

• Il est possible de contrôler un ordinateur à l’aide d’une clé d’API OpenAI.
  • Si vous le souhaitez, vous pouvez aussi utiliser un autre LLM. Vous pouvez également vous appuyer sur LiteLLM.
• Il peut communiquer avec le LLM et imiter ses instructions (entrées souris/clavier).
• Exemples :
  • "Résous le puzzle de mots du jour."
  • "Ouvre Google Docs et prépare-moi un menu pour le déjeuner."
  • "Code-moi une application web."
• Instructions pouvant provoquer des dysfonctionnements :
  • raisonnement spatial
    • manipulation de feuilles de calcul
  • applications GUI complexes où le curseur de la souris est indispensable
• Prévu :
  • "Crée-moi quelques samples de guitare basse avec Garage Band."
  • "Utilise Sportify pour découvrir les goûts musicaux de mes amis et crée une playlist pour la soirée de ce soir."
• Selon le LLM, le coût estimé serait d’environ $0.0005 - $0.002.
• Il est possible d’interrompre l’exécution en appuyant sur le bouton 'Stop' ou en déplaçant le curseur vers un coin de l’écran.
• En cas de configuration multi-écrans, il ne peut agir qu’à l’intérieur de l’écran principal.