- Mentionné par Mark Zuckerberg lors de l’earnings call du T2 2024
- Llama 3 est déjà en concurrence avec les modèles les plus avancés, et le développement de Llama 4 a déjà commencé
- L’objectif est d’atteindre le meilleur niveau du secteur l’an prochain
- L’entreprise planifie les clusters de calcul et les données nécessaires pour les prochaines années
- La puissance de calcul requise pour entraîner Llama 4 devrait être près de 10 fois supérieure à celle de Llama 3, et les futurs modèles continueront d’augmenter au-delà
- Il est difficile de prédire comment cette tendance évoluera, mais à ce stade, compte tenu des longs délais nécessaires pour mettre en service de nouveaux projets d’infrastructure, l’entreprise estime qu’il vaut mieux construire de la capacité avant d’en avoir besoin plutôt que trop tard
- En augmentant ces investissements, l’entreprise maintiendra l’efficacité opérationnelle à l’échelle de toute la société
1 commentaires
À l’origine, dans le deep learning, les ressources de calcul augmentaient en moyenne d’un facteur 10 tous les deux ans, donc je ne pense pas qu’il y ait de quoi être particulièrement surpris.