Entraîner directement le modèle O1 Preview pour moins de 450 dollars

• Sky-T1

• Entraîner le modèle O1 Preview pour 450 $

  • Des modèles comme O1 et Gemini 2.0 montrent d'excellentes capacités de raisonnement pour résoudre des tâches complexes, en s'appuyant sur un long processus de réflexion interne.
  • Cependant, l'absence d'accès aux détails techniques et aux poids du modèle constitue une barrière à la participation du monde académique et de la communauté open source.
  • En réponse, plusieurs initiatives notables ont émergé pour entraîner des modèles de raisonnement à poids ouverts dans le domaine des mathématiques, comme Still-2 et Journey.
  • L'équipe NovaSky de l'UC Berkeley explore diverses techniques pour faire progresser les capacités de raisonnement des modèles de base et des modèles ajustés par instruction.
  • Cette étude obtient des performances de raisonnement compétitives sur un même modèle, non seulement en mathématiques, mais aussi en code.

• Contributeurs

  • Dacheng Li, Shiyi Cao, Shu Liu, Tyler Griggs, Simon Mo, Shishir G. Patil, Joseph E. Gonzalez, Ion Stoica