Que la « pénurie de GPU » dure éternellement — subventions open source pour l’IA

 (a16z.com)
1 points par GN⁺ 2023-09-01 | 1 commentaires | Partager sur WhatsApp
  • a16z considère que l’IA open source constitue une base essentielle de l’écosystème IA et lance l’Open Source AI Grant pour réduire le fossé des ressources entre développeurs
  • Alors que les modèles open source concurrençant les modèles fermés se multiplient, le fine-tuning et le travail d’optimisation menés par des individus et de petites équipes renforcent l’utilité de ces modèles
  • Le programme soutient des projets qui repoussent les limites techniques, comme l’instruction-tuning, les LLM sans censure, la quantification pour l’exécution en local, les outils d’inférence et la recherche sur la sécurité des LLM
  • À mesure que la taille des modèles open source augmente, même le fine-tuning exige d’importantes ressources de calcul GPU, ce qui alourdit davantage la charge en ressources que pour les projets d’infrastructure traditionnels
  • Cette subvention n’est ni un investissement ni une SAFE note, ce qui permet aux bénéficiaires de poursuivre leur travail open source sans pression de rendement financier

Annonce de l’a16z Open Source AI Grant

  • a16z soutient un petit nombre de développeurs open source sous forme de subventions via le programme Open Source AI Grant
  • Le financement n’est ni un investissement ni une SAFE note ; il est conçu pour aider les développeurs à poursuivre leur travail sans la pression de devoir générer un rendement financier
  • a16z estime qu’un écosystème open source florissant est indispensable pour construire l’avenir de l’IA

L’IA open source face aux modèles fermés

  • Dans l’écosystème open source, des modèles open source capables de rivaliser avec des alternatives fermées sont en train d’émerger
  • Des centaines de petites équipes et d’individus travaillent à rendre les modèles plus utiles, plus accessibles et plus performants
  • Ces projets élèvent le niveau technique de l’IA open source et contribuent à une compréhension plus solide et plus inclusive de la technologie

Pourquoi les ressources GPU sont le goulot d’étranglement

  • Les personnes qui construisent ces projets manquent souvent des ressources nécessaires pour les mener à bien ou les maintenir sur le long terme
  • Dans les projets IA, le problème des ressources apparaît de manière plus marquée que dans l’infrastructure traditionnelle
    • Même le fine-tuning des modèles exige des ressources de calcul GPU considérables
    • Plus les modèles open source grandissent, plus les ressources nécessaires augmentent

Les domaines de travail visés par la subvention

  • Le programme soutient différents types de travaux qui améliorent l’utilité pratique des modèles et outils d’IA open source
    • instruction-tuning sur des LLM de base
    • Fine-tuning de LLM sans censure
    • Optimisation pour exécuter des modèles sur des machines à faible consommation
    • Création de nouveaux outils pour l’inférence de modèles
    • Recherche sur les problèmes de sécurité des LLM
    • Autres travaux liés à l’IA open source

Premiers bénéficiaires de la subvention et projets

À lire aussi

1 commentaires

 
GN⁺ 2023-09-01
Avis sur Hacker News

  • Je fais partie des bénéficiaires de l’AI grant, et je suis très reconnaissant envers a16z de soutenir le travail que nous faisons chez fast.ai
    Ma subvention a servi à acheter un serveur Scalar de Lambda Labs, que nous avons pu configurer avec 8 GPU A6000 de génération précédente
    C’est aussi grâce au fait que NVIDIA nous en a récemment fourni 3, et que Lambda Labs nous les a proposés au prix coûtant
    a16z n’a demandé aucune participation ni contrepartie, si ce n’est de pouvoir annoncer l’existence de cette subvention, et le processus a été très fluide
    Il y avait très peu de formulaires, seulement un contrat d’une page à signer ; le contrat était clair et équitable, indiquait qu’a16z ne recevait aucun droit, et le paiement pour l’achat du serveur a été viré immédiatement

    • Ici, les GPU A6000 de génération précédente désignent la distinction entre la « RTX A6000 » et la « RTX 6000 Ada Generation »
      La première repose sur l’architecture Ampere, correspondant à la série GeForce 30, tandis que la seconde repose sur l’architecture Ada, correspondant à la série GeForce 40
      Nvidia semble convaincu qu’il est acceptable de nommer ses générations technologiques aussi mal que l’USB Implementers Forum
    • Le fait qu’a16z n’ait demandé aucune participation ni contrepartie, hormis l’annonce de la subvention, et que le contrat précise qu’ils ne recevaient aucun droit, me paraît assez généreux et constitue un signal fort d’acteur honnête
    • Cela fait vraiment plaisir de voir un exemple d’aide sans aucune condition, apportée là où elle est nécessaire, à quelqu’un qui en sera reconnaissant
      J’aimerais voir davantage d’initiatives de ce genre, et je souhaite bonne chance à jph00 dans son travail

  • HN, je suis très heureux d’annoncer cette nouvelle initiative
    Ce programme est conçu pour soutenir des individus, des équipes et des hackers qui ne cherchent pas à créer une société commerciale
    Malgré cela, ces projets font avancer la frontière de l’IA open source et nous aident à mieux comprendre, de manière plus robuste et inclusive, la façon dont la technologie progresse
    Je suis fier d’y contribuer, même modestement, et reconnaissant envers la première cohorte ainsi qu’envers toutes les personnes qui contribuent à ce domaine

    • Je pense que c’est un bon projet
      Je me demande si, pour contribuer à ce domaine avec différentes idées de données d’entraînement, un individu doit d’abord faire ses preuves pour attirer l’attention, ou s’il existe un moyen de soumettre une proposition
      Dans mon cas, les coûts de calcul sont assez élevés : je peux me permettre quelques tests de preuve de concept, mais difficilement davantage, et avec une seule 4090 je ne peux pas faire tourner llama70b à plus de 1 it/s
    • Je me demande où vous obtenez les GPU

  • Je suis très content de voir oobabooga dans la liste
    Tout le monde contribue à sa façon, et ooba sert d’excellent portail pour tester différents modèles
    Le README dit aussi qu’il veut devenir l’équivalent d’automatic 1111 pour la génération de texte
    Pour un débutant comme moi, ooba est un bon point d’entrée pour explorer ce nouveau monde

  • En voyant les bénéficiaires actuels de la subvention, j’ai envie de les féliciter
    Ce sont tous des individus ou des équipes à fort impact, et cela montre qu’un vrai travail d’analyse a été fait pour placer l’argent là où il devait aller

  • Question de débutant : avec 25 000 dollars, combien de GPU pourrait-on acheter pour aider les « GPU Poor » ?
    Je me demande s’il existe un guide DIY pour construire ce genre de chose soi-même
    Je ne cherche pas tant à donner de l’argent liquide qu’à installer quelques GPU d’une manière ou d’une autre afin que des gens puissent les utiliser au prix coûtant

    • Avec 25K, on peut louer un serveur, ou assembler plus ou moins une machine du type 8x4090
      Les serveurs 8xA100 ou 8xH100 que la plupart des gens voudraient faire tourner coûtent plus de 200 000 dollars, et même avec l’argent, il est très probable qu’ils soient aujourd’hui très difficiles à obtenir
    • Avec vast.ai, vous pouvez commencer à proposer ce type de service, et la documentation d’hébergement est assez complète : https://vast.ai/docs/hosting/hosting
      Vous ne pourrez peut-être pas limiter l’accès à un groupe précis d’utilisateurs, mais les utilisateurs de vast.ai sont plutôt de petites entreprises, des particuliers et des chercheurs que de très grandes sociétés ; dans les faits, cela revient donc à aider les « GPU Poor »
    • Avec ce budget, je recommanderais franchement d’utiliser des instances spot/louées plutôt que d’acheter
      Une A100 coûte environ 2 dollars de l’heure, et la partie difficile est d’obtenir un quota important
      Les tâches d’entraînement sont de toute façon assez irrégulières : il est courant de lancer beaucoup de petites expériences avant une grande exécution unique
    • Sans vouloir prêter de mauvaises intentions, cela ressemble davantage à acheter un condo et rembourser le prêt avec les loyers qu’à donner des ressources
    • Supposons que l’emplacement soit la côte Est, à New York

  • C’est vraiment génial
    Je vois dans la liste beaucoup d’outils que j’utilisais, et c’est agréable de les voir recevoir un soutien financier
    J’espère qu’Ollama figurera bientôt dans la liste
    J’ai une idée amusante que j’aimerais tester, mais il me faudrait probablement quelques heures sur 8X A100 et des données de style EvolveInstruct, donc cela coûterait sans doute plus de 1 000 dollars
    Je vais essayer de préparer le code pour voir si je peux rejoindre la subvention n° 2

    • Très bien, j’espère que le MVP se passera bien
      Merci beaucoup pour le commentaire, et nous sommes aussi en contact avec les gens d’Ollama

  • Quels sont les autres projets LLM open source dont les gens dépendent ?
    C’est pour chercher des idées de futurs bénéficiaires de subventions
    C’est une bonne initiative, la première sélection est excellente, et c’est une très bonne façon d’utiliser les frais de gestion
    Même en essayant de penser à d’autres candidats, c’est difficile, car des projets que j’aurais recommandés comme TheBloke, vLLM et oobabooga sont déjà inclus
    Comme futurs bénéficiaires possibles, je pense à MLC LLM, ExLlama, un fork open source de text-generation-inference, et AutoGPTQ

    • Excellentes suggestions, merci

  • Félicitations aux personnes concernées
    Même si je sais qu’il y a une part de motivation liée au branding/marketing, j’aime voir a16z s’orienter davantage vers la résolution de vrais problèmes que vers la crypto ou la production de contenus médiatiques superficiels de ces dernières années
    J’espère qu’ils continueront dans cette voie, et que davantage de « thought leaders » et de fonds de capital-risque suivront

    • Non, ils sont toujours en train de sauver le monde
      La seule différence, c’est qu’ils le sauvent désormais avec l’IA, et non plus avec la crypto
      https://a16z.com/2023/06/06/ai-will-save-the-world/
    • Je suis d’accord pour dire que cette initiative aide à résoudre de vrais problèmes
      Cela dit, sans vouloir défendre la « Crypto », le critère de ce qui constitue un vrai problème me semble assez subjectif
      Par exemple, pour beaucoup de personnes et d’entreprises, augmenter le taux de clics publicitaires ou réduire les frais crypto/gas peut aussi être un vrai problème et un besoin réel ; simplement, ce problème n’est pas important pour moi

  • Impressionnant
    La première sélection est vraiment solide, et une grande partie de l’expérimentation organique qui se produit naturellement dépend directement d’eux

  • Je suis très heureux que « Eric Hartford : réglage fin de LLM non censurés » ait lieu
    Les LLM vont devenir des outils très précieux, et le fait que la censure soit intégrée dans de tels outils est assez inquiétant
    Imaginez Word empêchant l’utilisateur de saisir de « mauvais mots » au nom de la sécurité et de l’éthique