Rumeurs sur GPT-4

• GPT-4 est presque prêt et devrait être lancé entre décembre et février
• Il pourrait passer le test de Turing
• Il est très grand et sparse (tous les neurones ne s’activent pas en même temps)
  • Comparer sa taille n’a pas vraiment de sens
  • À mon avis, la sparsity est l’avenir de l’IA
• Une multimodalité permettant des entrées en texte, audio, image et vidéo
  • Là aussi, c’est l’avenir de l’IA. Non seulement parce que notre cerveau fonctionne ainsi, mais aussi parce que le monde est multimodal
• Un coût d’entraînement bien inférieur à celui de GPT-3 : $.e6($1~10M)
  • Cela signifie qu’OpenAI a trouvé un moyen de réduire les coûts