Une semaine d’utilisation de Gemini Pro 1.5 : c’est vraiment fantastique

• Gemini Pro 1.5, le nouveau LLM bêta privé de Google, affiche des performances largement améliorées par rapport aux modèles précédents
• Gemini 1.5 Pro peut
  • lire un roman entier et décrire en détail une scène cachée au milieu
  • lire l’ensemble d’une base de code et suggérer où ajouter une nouvelle fonctionnalité, avec du code d’exemple
  • lire tous les passages surlignés de lecture dans Readwise et sélectionner ceux à utiliser pour rédiger un essai
• Il peut traiter jusqu’à 1 million de tokens avec un seul prompt
  • comparé aux autres modèles, la fenêtre de contexte de Gemini Pro 1.5 est bien plus grande (GPT-4 Turbo est à 128000, soit environ 8 fois moins)
  • même avec une grande fenêtre de contexte, il gère remarquablement bien les prompts de grande taille
  • alors que les autres modèles voient leurs performances baisser à mesure que la taille du prompt augmente, Gemini ne présente pas ce problème
• Points à noter
  • Gemini Pro 1.5 est encore en bêta privée, et ses performances peuvent changer lors de sa sortie publique
  • Gemini Pro 1.5 est lent à traiter, surtout pour les requêtes de grande taille
  • OpenAI a du terrain à rattraper, et les fonctions de recherche d’information restent importantes

[dahada]

J’ai collé un roman et essayé de discuter avec, mais dès qu’une expression un peu osée apparaît, le traitement est refusé. Même en abaissant le niveau de filtrage, certains romans ne passent toujours pas. Il semble avoir privilégié la sécurité à l’extensibilité.

[ajh508]

Jusqu’ici, à chaque nouvelle sortie on a eu droit à beaucoup d’emballement, mais j’ai l’impression qu’aucune n’a vraiment dépassé openAI..
Personnellement, j’aimerais qu’un LLM ayant remplacé tous ses backbones par Mamba sorte rapidement

[xguru]

Avis sur Hacker News

• J’aime l’idée de faire ingérer à une IA le texte complet d’un livre. Il m’arrive souvent de lire un roman sans me souvenir d’un personnage, et j’aimerais pouvoir surligner un nom sur une liseuse pour qu’elle sache que je suis à la page 85 de Neuromancer et me réponde sans spoiler. Ou avoir un manuel qui puisse m’aider et me donner des indices quand je bloque sur un exercice, comme un bon partenaire d’étude.
• Peut-on être certain qu’à cause de la politique identitaire de Google, ils ne modifieront pas les faits d’un livre ? Ajustent-ils le contenu quand on lui donne un livre jugé problématique ? Pour moi, pour cette raison, c’est totalement inutilisable.
• Un article qui présente des exemples précis de ce qu’on peut faire avec ce genre de sujet, ainsi qu’un point de vue équilibré et des mises en garde, tout en révélant ses intérêts personnels (par ex. être investisseur dans LlamaIndex)
• Ce qui m’enthousiasme le plus, c’est de voir ce que donnerait l’usage d’une immense fenêtre de contexte en combinaison avec le RAG, sans l’abandonner. Si l’on peut parser un livre entier pour identifier les passages pertinents et mettre le livre complet dans la fenêtre de contexte, cela signifie qu’on peut aussi y mettre les parties pertinentes de toute une bibliothèque de référence, ce qui est très prometteur.
• D’après les retours de quelques personnes qui y ont déjà eu accès pendant plusieurs jours, il ne s’agit pas seulement d’une avancée en longueur, mais d’un véritable progrès dans l’exploitation de la fenêtre de contexte. Il l’utilise bien mieux que les autres modèles. C’est dommage qu’ils n’aient pas expliqué comment c’est possible.
• Est-ce que cela ne va pas coûter une fortune ? Avec gpt-4, si on pousse déjà au maximum, une seule interaction coûte $1.28 ! Gemini est-il bien moins cher ?
• À la NSA, ils doivent déjà se frotter les mains devant les possibilités qu’ouvre cette technologie. Ils pourraient s’en servir pour interroger les données qu’ils stockent assidûment depuis des années
• Il lit l’intégralité d’une base de code, suggère où ajouter une nouvelle fonctionnalité et propose même du code d’exemple. J’espère que ce ne sera pas comme l’invention de la voiture qui a remplacé la calèche, mais plutôt comme celle de la boîte à rythmes, qui n’a pas fait disparaître les batteurs.
• Ces modèles se comportent souvent différemment (et moins bien) une fois rendus publics, et on ne sait pas encore ce qu’il adviendra de Gemini à l’échelle de Google. J’espère sincèrement que Google saura tirer les leçons de la réputation déclinante de ChatGPT et trouvera un moyen de préserver les meilleures performances du modèle. Qu’ils limitent l’accès, augmentent les prix, ou les deux, je veux pouvoir bénéficier de ce modèle et d’une expérience de grande qualité lorsqu’il sera public.