Unix vs. Linux
Oracle vs. MySQL
L’open source a permis des innovations grâce à la collaboration. Sa force, c’est la transparence et la collaboration. Le succès d’open source comme Linux ou MySQL en est le résultat.
GPT-n vs. Llama ?
Llama a les limites de l’innovation ouverte.
Pour faire évoluer le modèle Llama, il faut pouvoir effectuer du préentraînement, mais actuellement seul le post-entraînement est possible. La raison est que les données d’entraînement de Llama n’ont pas été rendues publiques. En IA et en deep learning, le code source, c’est le jeu de données d’entraînement. Or, Llama ne publie que les poids du modèle, et non les données d’entraînement, le code d’entraînement du modèle, les hyperparamètres, etc. Avec les poids de Llama tels qu’ils sont disponibles aujourd’hui, des innovations de type ajustement, comme le fine-tuning ou l’allègement, sont possibles, mais les innovations sur les poids du modèle qui ne sont possibles qu’au moyen du préentraînement ne le sont pas. En effet, en IA et en deep learning, développer le jeu de données d’entraînement revient à coder et à déboguer. Comme les données d’entraînement de Llama sont privées, il n’existe aucun moyen pour le public de collaborer afin de les améliorer. De ce point de vue, il est difficile de considérer Llama comme de l’open source.
Il y a aussi le manque de ressources GPU dans la communauté.
On dit que l’entraînement de Llama a utilisé 16k GPU H100. Rien que les GPU dépassent les 600 milliards de wons. Si l’on tient compte des coûts supplémentaires comme l’infrastructure nécessaire pour les faire tourner et la facture d’électricité, on dépassera facilement le billion de wons. Ce n’est pas quelque chose que n’importe qui peut tenter. Pour que l’innovation soit possible dans la communauté open source, il faudrait disposer d’un cluster public de GPU.
En résumé
Pour que l’open innovation soit possible dans le domaine de l’IA et du deep learning, il faut au minimum que les deux conditions suivantes soient réunies.
Publication des données d’entraînement
Mise à disposition d’un cluster public de GPU à grande échelle
Mais la première a peu de chances d’aboutir à cause des problèmes de droits d’auteur. Et la seconde nécessite 1 billion de wons.
La conclusion, c’est que dans la situation actuelle, la possibilité d’une open innovation dans le domaine de l’IA et du deep learning est très faible. Mais si une innovation matérielle se produit, par exemple sur les GPU ou les puces neuromorphiques, la donne pourrait changer.
1 commentaires
Unix vs. Linux
Oracle vs. MySQL
L’open source a permis des innovations grâce à la collaboration. Sa force, c’est la transparence et la collaboration. Le succès d’open source comme Linux ou MySQL en est le résultat.
GPT-n vs. Llama ?
Llama a les limites de l’innovation ouverte.
Pour faire évoluer le modèle Llama, il faut pouvoir effectuer du préentraînement, mais actuellement seul le post-entraînement est possible. La raison est que les données d’entraînement de Llama n’ont pas été rendues publiques. En IA et en deep learning, le code source, c’est le jeu de données d’entraînement. Or, Llama ne publie que les poids du modèle, et non les données d’entraînement, le code d’entraînement du modèle, les hyperparamètres, etc. Avec les poids de Llama tels qu’ils sont disponibles aujourd’hui, des innovations de type ajustement, comme le fine-tuning ou l’allègement, sont possibles, mais les innovations sur les poids du modèle qui ne sont possibles qu’au moyen du préentraînement ne le sont pas. En effet, en IA et en deep learning, développer le jeu de données d’entraînement revient à coder et à déboguer. Comme les données d’entraînement de Llama sont privées, il n’existe aucun moyen pour le public de collaborer afin de les améliorer. De ce point de vue, il est difficile de considérer Llama comme de l’open source.
Il y a aussi le manque de ressources GPU dans la communauté.
On dit que l’entraînement de Llama a utilisé 16k GPU H100. Rien que les GPU dépassent les 600 milliards de wons. Si l’on tient compte des coûts supplémentaires comme l’infrastructure nécessaire pour les faire tourner et la facture d’électricité, on dépassera facilement le billion de wons. Ce n’est pas quelque chose que n’importe qui peut tenter. Pour que l’innovation soit possible dans la communauté open source, il faudrait disposer d’un cluster public de GPU.
En résumé
Pour que l’open innovation soit possible dans le domaine de l’IA et du deep learning, il faut au minimum que les deux conditions suivantes soient réunies.
Mais la première a peu de chances d’aboutir à cause des problèmes de droits d’auteur. Et la seconde nécessite 1 billion de wons.
La conclusion, c’est que dans la situation actuelle, la possibilité d’une open innovation dans le domaine de l’IA et du deep learning est très faible. Mais si une innovation matérielle se produit, par exemple sur les GPU ou les puces neuromorphiques, la donne pourrait changer.