g1 - Générer une chaîne de raisonnement similaire à o1 avec Llama-3.1 70B sur Groq

• g1 est un prototype précoce qui utilise une stratégie de prompt pour améliorer les capacités de raisonnement des LLM
• Cela permet aux LLM de résoudre des problèmes logiques et de traiter des questions difficiles pour les modèles existants
• g1 a été publié en open source afin d’inspirer la communauté open source à développer de nouvelles stratégies

Fonctionnement

• g1 utilise Llama3.1-70b pour générer une Chain of Thought dynamique.
• À chaque étape, le LLM peut soit passer à l’étape de raisonnement suivante, soit fournir la réponse finale.
• Le prompt système inclut des conseils destinés au LLM.
• Par exemple, des consignes comme "inclure l’exploration de réponses alternatives" et "utiliser au moins 3 méthodes pour parvenir à la réponse" sont présentes.
• Ces méthodes améliorent les capacités de raisonnement du LLM.

Exemples

• g1 peut résoudre des problèmes logiques simples avec une précision de 60 à 80 %.
• Exemple : à la question "combien y a-t-il de R dans strawberry ?", g1 affiche une précision de 70 %.

Démarrage rapide

• Utilisation de l’interface Streamlit :

  python3 -m venv venv  
  source venv/bin/activate  
  pip3 install -r requirements.txt  
  export GROQ_API_KEY=gsk...  
  streamlit run app.py  
  

• Utilisation de l’interface Gradio :

  cd gradio  
  pip3 install -r requirements.txt  
  python3 app.py  
  

Stratégie de prompt

• Exemple de prompt :

  {  
    "title": "Identifying Key Information",  
    "content": "To begin solving this problem, we need to carefully examine the given information and identify the crucial elements that will guide our solution process. This involves...",  
    "next_action": "continue"  
  }  
  

• Composition du prompt :

  • attribuer le rôle d’assistant IA expert
  • fournir un titre et un contenu à chaque étape
  • répondre au format JSON
  • utiliser au moins 3 étapes de raisonnement
  • reconnaître les limites du LLM et inclure l’exploration de réponses alternatives
  • lors de la révision, utiliser réellement une approche différente

Forks majeurs

• Mult1 : génération d’une chaîne de raisonnement similaire à o1 avec plusieurs fournisseurs d’IA (GitHub Repository)

Crédits

• Cette application a été développée par Benjamin Klieger

Résumé de GN⁺

• g1 est un prototype précoce qui utilise une stratégie de prompt pour améliorer les capacités de raisonnement des LLM.
• Il a été publié en open source afin d’inspirer la communauté open source à développer de nouvelles stratégies.
• g1 montre une précision supérieure à celle des modèles existants pour la résolution de problèmes logiques simples.
• Cet article est utile pour explorer différentes méthodes visant à améliorer les capacités de raisonnement des LLM.
• Un autre projet aux fonctionnalités similaires est o1 d’OpenAI.

[GN⁺]

Commentaire Hacker News

• La méthode ChainOfThought est simple, et TreeOfThoughts est une approche plus sophistiquée
  • Les indices liés à OpenAI ont un rapport avec l’exploration d’arbre
  • Il est important de construire le CoT comme un arbre et de trouver la solution optimale
• Il est amusant de mettre l’accent sur les consignes en MAJUSCULES
  • La première personne à réussir l’AGI trouvera un moyen d’améliorer la fiabilité des LLM
• L’innovation de o1 n’est pas le Chain-of-Thought, mais le fait d’apprendre au modèle à bien exécuter le CoT
  • On ne peut pas obtenir les performances de o1 avec un simple prompt engineering
• Les LLM peuvent résoudre des problèmes en « zoomant » différemment sur l’entrée
  • On peut saisir le texte lettre par lettre ou le convertir en image pour vérifier les détails
• Cela réalise un travail similaire au projet optillm
  • On peut améliorer les LLM en utilisant plusieurs techniques d’optimisation
• Modifié pour fonctionner 100 % en local avec ollama:8b
  • Le Readme n’a pas encore été mis à jour
• Il est important de trouver une définition de la « raisonnement »
  • On peut résoudre les problèmes de raisonnement des LLM en les combinant avec des algorithmes classiques
  • Il faut diviser le processus de pensée en deux parties et l’exécuter sur le modèle approprié
• Dans un prompt demandant lequel est plus grand entre .9 et .11, il répond que .9 est plus grand
  • Il s’agit d’un simple prompt système
• Par amusement, le projet a été forké pour faire tourner le modèle Llama-3.1 7B en local
  • Il ne résout pas le problème des fraises, mais comprend que 0.9 est plus grand que 0.9