- Aux débuts du calcul haute performance, les grandes entreprises technologiques développaient chacune leur propre version fermée d’Unix
- Avec le temps, Linux open source a gagné en popularité et est devenu le standard actuel du cloud computing et des systèmes d’exploitation mobiles
- L’IA devrait évoluer de manière similaire
- Aujourd’hui, plusieurs entreprises technologiques développent des modèles fermés, mais l’open source rattrape rapidement son retard
- L’an dernier, Llama 2 était en retrait par rapport aux modèles de la génération précédente, mais cette année, Llama 3 a atteint un niveau lui permettant de rivaliser avec les modèles les plus avancés
- À partir de l’an prochain, les modèles Llama devraient devenir les plus avancés du secteur
- Llama est déjà en tête en matière d’ouverture, de possibilité de modification et d’efficacité en termes de coûts
- Nous franchissons désormais la prochaine étape pour faire de l’IA open source un standard industriel
- Meta annonce aujourd’hui Llama 3.1 405B, le premier modèle d’IA open source de pointe, ainsi que les modèles Llama 3.1 70B et 8B
- Le rapport performance/coût est nettement supérieur à celui des modèles fermés, et le fait que le modèle 405B soit open source en fera le meilleur choix pour affiner et distiller des modèles plus petits
- Collaboration avec diverses entreprises pour développer un écosystème plus vaste
- Collaboration avec Amazon, Databricks, NVIDIA et d’autres pour fournir une gamme complète de services prenant en charge l’affinage et la distillation des modèles d’IA
- Groq met en place des services d’inférence à faible latence et à faible coût
- Les modèles sont disponibles sur tous les grands clouds, notamment AWS, Azure, Google et Oracle
- Scale.AI, Dell, Deloitte et d’autres aident les entreprises à adopter Llama et à entraîner des modèles personnalisés à partir de leurs propres données
- À mesure que la communauté grandit et que davantage d’entreprises développent de nouveaux services, nous pouvons faire de Llama le standard du secteur et apporter les bénéfices de l’IA à tous
- Meta s’engage en faveur de l’IA open source
- pourquoi l’open source constitue selon nous la stack de développement la plus adaptée,
- pourquoi le fait d’ouvrir Llama est bon pour Meta,
- et pourquoi l’IA open source est bénéfique pour le monde,
- expliquant ainsi la plateforme appelée à durer sur le long terme
Pourquoi l’IA open source est bénéfique pour les développeurs
- Possibilité d’entraîner, d’affiner et de distiller les modèles soi-même : chaque organisation peut les adapter à la taille optimale en utilisant ses propres données
- Préserver son indépendance sans dépendre d’un fournisseur fermé : l’open source fournit un écosystème d’outils compatibles qui permet de changer librement
- Protection des données : les données sensibles peuvent être traitées sur son propre modèle sans être envoyées à une API cloud
- Rentable : le modèle Llama 3.1 405B permet une inférence environ 50 % moins coûteuse que les modèles fermés
- Investir dans un standard pérenne : l’open source progresse plus vite que les modèles fermés
Pourquoi l’IA open source est bénéfique pour Meta
- Le modèle économique de Meta consiste à offrir les meilleures expériences et les meilleurs services
- Pour cela, l’entreprise doit toujours avoir accès aux technologies de pointe et ne pas être enfermée dans l’écosystème fermé de ses concurrents
- L’expérience de construction de services sur la plateforme d’Apple a montré les contraintes d’un écosystème fermé
- Construire un écosystème ouvert permet de fournir de meilleurs services
- Certains craignent que l’open source revienne à abandonner un avantage technologique, mais cela manque la vue d’ensemble
- Développement de l’écosystème : Llama doit évoluer vers un écosystème complet avec des outils, des gains d’efficacité, des optimisations silicium et d’autres intégrations. Si Meta était la seule entreprise à utiliser Llama, l’écosystème ne progresserait pas
- Maintien de la compétitivité : le développement de l’IA sera extrêmement concurrentiel, donc l’open source ne revient pas à céder un grand avantage technologique. Llama doit être compétitif, efficace et ouvert à chaque génération
- Différence de modèle économique : Meta ne vend pas l’accès à des modèles d’IA comme activité principale, donc ouvrir Llama ne nuit ni à ses revenus, ni à sa pérennité, ni à sa capacité d’investir dans la recherche. C’est aussi l’une des raisons pour lesquelles plusieurs fournisseurs fermés font du lobbying auprès des gouvernements contre l’open source
- Expérience de l’open source : Meta a une longue histoire de projets open source couronnés de succès. Avec l’Open Compute Project, l’entreprise a publié les conceptions de serveurs, de réseaux et de data centers, économisant ainsi des milliards de dollars. Elle a également ouvert des outils comme PyTorch et React, profitant de l’innovation de l’écosystème. Cette approche s’est révélée durablement avantageuse pour Meta
Pourquoi l’IA open source est bénéfique pour le monde
- L’open source est indispensable à un avenir positif pour l’IA
- L’IA peut améliorer la productivité, la créativité et la qualité de vie, accélérer la croissance économique et permettre des avancées en santé et en recherche scientifique
- L’open source permet à davantage de personnes de bénéficier des avantages et des opportunités de l’IA, tout en évitant que le pouvoir ne se concentre entre les mains de quelques entreprises
- Elle permet un déploiement plus équitable et plus sûr des technologies d’IA dans l’ensemble de la société, et l’open source est plus sûr car il est développé de manière transparente
- Le cadre d’analyse de la sécurité repose sur la nécessité de se protéger contre deux catégories de dommages
- Dommages non intentionnels : lorsqu’un système d’IA cause involontairement un préjudice
- Ex. : donner de mauvais conseils de santé, s’auto-répliquer ou optimiser excessivement ses objectifs
- Dommages intentionnels : lorsqu’un utilisateur malveillant se sert d’un modèle d’IA pour nuire
- Les dommages non intentionnels représentent l’essentiel des inquiétudes
- Ex. : l’impact des systèmes d’IA sur les personnes, ou des scénarios de science-fiction dans lesquels l’IA nuit aux humains
- L’open source est plus sûr pour prévenir les dommages non intentionnels, car les systèmes sont plus transparents et peuvent être examinés plus largement
- Les modèles open source comme Llama pourraient être plus sûrs et plus sécurisés que les modèles fermés grâce à des systèmes de sécurité comme Llama Guard
- Nous cherchons à évaluer les risques des modèles et à les atténuer, notamment au moyen de tests rigoureux et d’exercices de red teaming
- Les modèles sont publiés et peuvent être testés par tous
- Puisque les modèles d’IA apprennent à partir des informations présentes sur Internet, il faut se demander s’ils peuvent causer plus de tort que les informations existantes
- Réflexions sur les dommages intentionnels
- Il faut distinguer les petits acteurs des grands acteurs
- À l’avenir, des individus malveillants pourraient utiliser des modèles d’IA pour créer de nouveaux types de nuisances
- L’IA doit être largement déployée afin que de grands acteurs puissent contrebalancer la puissance de petits acteurs malveillants
- Lorsque de grandes institutions déploient l’IA à grande échelle, cela favorise la sécurité et la stabilité dans l’ensemble de la société
- La réponse des États-Unis et des démocraties
- La force des États-Unis réside dans une innovation ouverte et décentralisée
- Certains affirment qu’il faut fermer les modèles pour empêcher la Chine d’y accéder, mais ce n’est pas efficace
- Avec l’efficacité des activités d’espionnage, les modèles sont faciles à voler
- Un monde composé uniquement de modèles fermés donnerait accès aux modèles à quelques grandes entreprises et à des pays adverses, tandis que les startups, les universités et les petites entreprises risqueraient de passer à côté des opportunités
- Si l’innovation américaine est confinée à un développement fermé, il sera difficile de conserver l’avance
- Il faut construire un écosystème ouvert et collaborer avec les gouvernements et les alliés pour maximiser les bénéfices des technologies les plus récentes
- L’IA open source est la meilleure manière, au niveau mondial, de maximiser les opportunités économiques et la sécurité
- Les grandes entreprises technologiques et la recherche scientifique actuelles reposent sur des logiciels open source
- La prochaine génération d’entreprises et de recherche utilisera elle aussi l’IA open source
Construisons cela ensemble
- Meta adopte une approche différente de celle de ses précédents modèles Llama
- Nous avons constitué en interne des équipes chargées d’aider autant de développeurs et de partenaires que possible à utiliser Llama
- Nous développons activement des partenariats afin que davantage d’entreprises de l’écosystème puissent offrir des capacités uniques à leurs clients
- Nous pensons que la sortie de Llama 3.1 marquera un point d’inflexion pour le secteur, où la majorité des développeurs commenceront à utiliser principalement l’open source
5 commentaires
Au vu de ce que Meta a fait jusqu’ici, il semble très probable qu’ils tolèrent aussi bien des préjudices non intentionnels qu’intentionnels. À mon avis, Zuckerberg est quelqu’un à qui on ne peut pas faire confiance.
Llama est-il open source ? Non.
Données d’entraînement = code source
Le modèle Llama 3.1 a bien été publié comme open source cette fois. Mais les données d’entraînement, elles, ne sont pas publiques. En IA et en deep learning, les données d’entraînement sont le « code source », et le modèle est plutôt comparable à une app. Par conséquent, on ne peut pas vraiment dire que Llama soit open source. Meta a simplement lancé une app de modèle de langage gratuite.
Meta a-t-il une chance de publier les données d’entraînement de Llama ? Non.
Les données d’entraînement de Llama représenteraient à elles seules 15 billions de tokens de texte, et pour l’entraînement multimodal il doit aussi y avoir des données d’images, de vidéo et d’audio. Or, une part importante de ces données pourrait provenir des données clients de Facebook, Instagram, etc. Les rendre publiques créerait donc de très gros problèmes sociaux autour de la propriété des données et du droit d’auteur ; on peut donc penser que, même si Meta le voulait, l’entreprise ne pourrait pas les publier.
Meta, c’est classe.
Avis Hacker News
Le vocabulaire autour de l'IA open source prête à confusion
Il y a de grands avantages pour les startups IA et les développeurs
Meta est l'une des rares grandes entreprises de l'IA à proposer des modèles ouverts
Le modèle de revenus publicitaires de Meta mérite l'attention
Meta cherche à se positionner comme le champion de l'open source en IA