- Une entreprise dont l’objectif est de créer un produit d’IA sûr et puissant, "Safe Superintelligence (superintelligence sûre)"
- Résoudre le problème en prenant en compte à la fois la sécurité et les performances, grâce à une ingénierie innovante et à des percées scientifiques
- Prévoir de maximiser les performances aussi rapidement que possible tout en faisant toujours de la sécurité la priorité
- Se concentrer uniquement sur SSI afin de se protéger de la surcharge managériale, des cycles produit et des pressions commerciales
- Cofondateurs
- Ilya Sutskever : cofondateur d’OpenAI et ancien directeur scientifique
- Daniel Gross : cofondateur de Cue, un moteur de recherche acquis par Apple. Après l’acquisition, il était en charge de l’IA et de la recherche chez Apple.
- A principalement investi dans diverses startups avec Nat Friedman, ancien CEO de GitHub : Instacart, Coinbase, Airtable, Figma, Notion, etc.
- Daniel Levy : ancien responsable de l’équipe Optimization chez OpenAI
1 commentaires
Avis Hacker News
Je suis heureux qu’Ilya puisse contribuer aux avancées de l’IA. Mais je me demande comment il pourra offrir une rémunération élevée comme les entreprises commercialement plus avantagées. Il pourra peut-être trouver des personnes motivées par l’idéologie ou déjà financièrement indépendantes. Il sera aussi difficile d’obtenir suffisamment de ressources de calcul alors que d’autres entreprises investissent des dizaines de milliards pour construire d’immenses centres de données GPU.
Je comprends l’inquiétude selon laquelle la « superintelligence » pourrait menacer les humains. Mais ma plus grande crainte est plutôt une situation où la « superintelligence » ne s’échappe pas et reste contrôlée par certains humains. Il suffit de voir ce que des humains dotés d’un grand pouvoir ont fait dans l’histoire. La course aux armements nucléaires pendant la guerre froide en est un bon exemple.
Je suis d’accord avec l’idée que les incitations économiques produisent une IA dangereuse. Les algorithmes de recommandation des réseaux sociaux sont déjà très dangereux pour la société, et particulièrement pour les jeunes. Lorsqu’il existe des externalités négatives, le gouvernement doit mettre en place une régulation appropriée.
Le problème d’Ilya n’est pas de développer une IA sûre, mais de développer une entreprise sûre. On peut créer une IA sûre aujourd’hui, mais on ne sait pas comment le prochain dirigeant la traitera. Si l’on résout le problème d’une entreprise sûre, on peut éliminer beaucoup de dommages sociaux.
Si la superintelligence peut être atteinte, je suis pessimiste quant à la sécurité. Il semble impossible de sandboxer une intelligence supérieure à soi. Une superintelligence pourrait imaginer de nouveaux vecteurs d’attaque. Comme dans le film « Transcendence », elle pourrait faire des choses dignes de la magie grâce à de nouvelles découvertes en physique.
Je prédis que le business model sera un protocole externe similaire à SSL. Tant qu’il existe diverses approches, sans protocole ni standard définis, il est peu probable que la « sécurité » soit mise en œuvre au niveau de la couche produit. Ilya semble être quelqu’un qui a la crédibilité et les compétences techniques pour le faire.
Ilya semble pouvoir lever des fonds presque illimités sur son seul nom. Je ne suis pas d’accord avec l’orientation « pas de produit avant d’avoir réussi ». Les retours du monde réel seront importants pour développer la superintelligence. Mais je suis d’accord sur le fait que la superintelligence est atteignable.
Il faudrait expliquer en quoi une « concentration unique » supprime le cycle produit ou la surcharge managériale.
Je me demande si une superintelligence sûre pourra rivaliser avec une superintelligence sans restrictions. Si une autre entreprise poursuit le même objectif sans consacrer de temps à la sécurité, je doute qu’elle puisse être compétitive.
J’ai vu une interview où Yann LeCun rejetait l’idée de construire une intelligence « véritable » à l’aide des LLM. Il recommandait à ses doctorants de faire de la recherche sur la technologie suivante plutôt que sur celle-ci. Je me demande comment concilier cela avec ce qu’Ilya fait actuellement. Je me demande aussi s’il prévoit d’utiliser une autre technologie.