- Les interfaces textuelles apparues après ChatGPT sont puissantes, mais moins intuitives que les GUI traditionnelles
- L’UI du futur évolue vers des formes qui offrent, au lieu du chat, des actions adaptées au contexte, une recherche intelligente, un rangement automatique et un retour immédiat
- Ex. : menu contextuel par clic droit alimenté par l’IA, champ de recherche en langage naturel, barre de commande, rangement des calques par l’IA de Figma, suggestions en temps réel de Grammarly, etc.
- Des tentatives sont déjà en cours pour prédire la prochaine action de l’utilisateur afin de la suggérer automatiquement, voire pour générer l’UI elle-même en temps réel avec un LLM
- Les logiciels traditionnels donneront progressivement une impression de vieillissement, et les produits fondés sur ces nouveaux modèles ont de fortes chances de remplacer les produits existants
Le chat, un retour au terminal
- Le chat avec un LLM est puissant et flexible, et il est aussi facile à programmer
- Mais il est peu intuitif, peu pratique à manipuler et intimidant pour les débutants, à l’image des anciens terminaux
> Le chat est utile comme interface de débogage, mais ne doit pas devenir l’UX par défaut
UI centrée sur le document + chat d’appoint
- Des UI où le document ou le code est central, avec le chat comme outil secondaire, se diffusent, comme dans ChatGPT Canvas
- On retrouve une expérience similaire dans Copilot in Excel, Cursor IDE, etc.
Menus contextuels génératifs au clic droit
- Les fonctions d’IA peuvent s’intégrer naturellement dans un menu contextuel
- Ex. : Dia Browser propose directement des commandes IA selon la position du curseur
- Au départ, le menu peut devenir excessivement complexe et devra être affiné par la suite
Recherche intuitive en langage naturel
- Au lieu de rechercher
air canada confirmation, on peut taper « Quand est mon vol professionnel ? »
- Ex. : recherche d’e-mails en langage naturel de Superhuman, recherche de design basée sur Figma
- Les UX qui exigeaient de se souvenir des mots-clés exacts sont en train de disparaître progressivement
Saisir plutôt que sélectionner : un mode de contrôle plus humain
- Les UI classiques pour les filtres, les dates ou les styles reposent sur des sélections via menus déroulants
- Désormais, il est plus naturel d’écrire en langage naturel “mercredi prochain”
- Les interfaces d’exécution immédiate basées sur la barre de commande (Command-K) et l’autocomplétion se généralisent
Retour en ligne
- Au-delà de l’orthographe, l’IA peut fournir des retours en ligne sur le style, l’argumentation, le besoin de sources, etc.
- Le concept de « démon d’écriture » de Maggie Appleton : des personnages de feedback aux personnalités variées qui donnent des conseils en temps réel
Fonctions de rangement automatique
- Comme avec le renommage des calques par l’IA de Figma, même des fichiers désordonnés peuvent être structurés automatiquement
- Des formes de rangement plus complexes peuvent aussi être mises en œuvre naturellement sans passer par le chat
Résumé et extraction d’informations
- Apple Intelligence propose des résumés des informations clés à partir d’échanges informels (« rendez-vous annulé aujourd’hui, déplacé à la semaine prochaine », etc.)
- À l’ère de la surcharge informationnelle, les fonctions de résumé IA non conversationnelles qui ne gardent que le signal deviennent indispensables
Voix + multimodal
- Les interfaces vocales ne doivent pas non plus rester enfermées dans une conversation linéaire, comme le chat
- Ex. : en pointant un bouton avec la souris et en disant « Où est ce code ? », le LLM peut ouvrir l’emplacement du code
- Des interfaces multimodales plus humaines, combinant pointage + parole, deviennent possibles
Suggestion de la « prochaine étape » : aussi naturelle que la touche Tab
- L’interface suggère la prochaine action à partir des habitudes de l’utilisateur
- Suggestions de fautes de frappe de Grammarly, modèle d’autocomplétion à la touche Tab de Cursor
- Cela réduit l’effort de l’utilisateur dans les tâches répétitives et l’aide à se concentrer sur la réflexion créative
Étape finale : le LLM génère l’UI en temps réel
- La génération de code d’interface est déjà une réalité avec bolt.new
- Plus loin encore, on voit apparaître une dynamique où l’UI elle-même est générée en temps réel selon l’objectif d’un utilisateur donné
- Inconvénient : apprentissage difficile, et un état de l’UI qui peut varier d’un utilisateur à l’autre
- Les menus adaptatifs d’Office XP (IntelliMenus) ont été un échec par le passé
- Mais si les LLM deviennent suffisamment puissants, cela pourrait aussi s’imposer comme un nouveau modèle standard d’UI
Le moment de construire est venu
- Ces modèles d’UI fondés sur l’IA sont en train de reconfigurer progressivement l’ensemble du logiciel
- L’UX traditionnelle paraîtra dépassée, et les produits qui les adopteront d’abord définiront les nouvelles attentes des utilisateurs
- Comme à l’époque où la GUI a remplacé le terminal, nous vivons de nouveau un moment où les règles de l’UX logicielle sont en train d’être rebattues
4 commentaires
Je pense à peu près la même chose.
Récemment, j’ai cherché un programme pour renommer des fichiers en masse… mais les logiciels qui ont toutes les fonctionnalités ont vraiment un nombre monstrueux de menus, et leur utilisation est extrêmement complexe. Pour faire une tâche simple comme « ajoute
_à la fin du nom de fichier », il faut apprendre à s’en servir… Plus c’est puissant, plus ça devient inévitablement bizarre.Du coup, j’en ai recréé un en utilisant un LLM. L’idée, c’est de laisser le LLM générer la partie du code qui modifie réellement les noms de fichiers. Dans ce cas, on peut supprimer toute l’UI complexe.
Le point essentiel, c’est qu’au final le LLM doit générer du code en interne puis l’exécuter en temps réel,
et c’est là une différence fondamentale avec les logiciels existants ou la notion traditionnelle d’UX.
Avant, toute la logique était déjà prête, et le cœur de l’UI consistait à relier cette logique à l’utilisateur. Mais maintenant que la logique elle-même est devenue dynamique, l’UI doit aussi jouer le rôle de produire cette génération de code dynamique.
Cela dit, je ne pense pas que tout puisse être remplacé. Pour certaines choses, l’UI classique reste plus pratique.
(J’ajoute ceci faute de modifications.)
https://www.bulkrenameutility.co.uk/#mainscreen
Un logiciel existant comme celui ci-dessus peut, avec l’introduction des LLM, évoluer comme ci-dessous.
https://localfile.io/ko/run/rename/
Pour changer véritablement la donne de l’UI/UX, il faudrait aussi que les plateformes tentent de s’affranchir du form factor du téléphone ou du moniteur.
https://x.com/karpathy/status/1917920257257459899
Comparer aussi avec l’avis d’Andrej Karpathy me semble intéressant.
L’expérience consistant à « discuter » avec un LLM ressemble un peu à l’usage d’un terminal informatique des années 80. Le GUI (interface utilisateur graphique) n’a pas encore été inventé, mais je pense que certaines de ses caractéristiques sont déjà prévisibles.
Ce sera visuel (comme les GUI d’autrefois). Car l’information visuelle (photos, graphiques, animations, etc. — voir plutôt que lire) est comme une autoroute à 10 voies vers le cerveau. La vision offre la plus grande bande passante d’entrée d’information, et environ un tiers du traitement cérébral est consacré au traitement visuel.
Ce sera génératif et variable selon les conditions d’entrée. Autrement dit, l’interface graphique sera générée en temps réel en fonction du prompt de l’utilisateur, et chaque élément existera et sera agencé pour son objectif immédiat.
La question un peu plus ouverte concerne le degré de caractère « procédural ». À une extrémité, on peut imaginer un unique immense diffusion model produisant tout le canevas de sortie d’un seul coup ; à l’autre, une page remplie de composants React générés de manière procédurale (par ex. images, graphiques, animations, diagrammes, etc.). À mon avis, ce sera un mélange des deux, mais le second constituera l’ossature de base.
Mais ce dont je suis déjà certain, c’est qu’à mesure que les capacités se rapprocheront de l’infini, un GUI sous forme de canevas 2D interactif, fluide, magique et éphémère deviendra sa forme finale. Et je pense que cela commence déjà lentement (par ex. blocs de code/surlignage, blocs LaTeX, gras/italique/listes/tableaux en Markdown, emoji, et de manière plus ambitieuse les onglets Artifacts, les diagrammes Mermaid ou des applications plus complètes). Bien sûr, tout cela reste encore à un stade très initial et rudimentaire.
Iron Man, et dans une certaine mesure Star Trek / Minority Report, peuvent être considérés comme de bons exemples, dans la culture populaire, de l’orientation de cette IA/UI.