Ask HN : quelles ressources recommander à un ingénieur logiciel qui veut suivre les dernières tendances de l’IA ?

• Un ingénieur logiciel, qui utilise ChatGPT presque tous les jours et dont la dernière expérience avec l’API OpenAI remonte à GPT-3.5 l’an dernier, cherche des ressources pour rattraper rapidement les dernières évolutions de l’IA
• Il souhaite un blog technique permettant de rester continuellement à jour sur l’actualité de l’IA, à la manière de HN
• Il a découvert simonwillison.net, mais trouve que le contenu y semble fragmenté

[GN⁺]

Avis Hacker News

• Il est plus important d’apprendre à utiliser les modèles et à comprendre leur fonctionnement que d’apprendre à les entraîner

  • Recommande le "Hacker's Guide to LLMs" de Jeremy et le "State of GPT" de Karpathy
  • Les vidéos de visualisation des LLMs et des transformers par 3b1b sont aussi utiles
  • Une vidéo expliquant le processus d’entraînement de ChatGPT et donnant une vue d’ensemble de l’IA vaut également le détour
  • La manière dont Nicholas Carlini utilise les LLMs est aussi intéressante
  • Recommande de suivre sur X/Twitter et Bluesky des personnes d’OpenAI, Anthropic, Google DeepMind et xAI pour obtenir les dernières informations
  • Recommande aussi des podcasts comme "No Priors", "Generally Intelligent", "Dwarkesh Patel" et "Sequoia's Training Data"

• La participation à des compétitions Kaggle lui a permis d’acquérir une compréhension intuitive de l’IA

  • Le fait d’avoir un objectif précis et un jeu de données fourni facilite la résolution des problèmes
  • Le blog de Simon est utile pour les ingénieurs logiciel

• Étudie la computer vision via la playlist YouTube d’"OpenCV University"

  • A acquis une compréhension approfondie des CNN et les applique actuellement à des projets récents
  • C’est un parcours d’apprentissage facile d’accès, même sans solide bagage en mathématiques

• Se tenir à jour chaque jour ou chaque semaine peut être inefficace

  • Mieux vaut faire une mise à jour une fois tous les 6 à 12 mois

• Travaille directement sur des modèles de pointe et rédige un guide

  • Il contient des concepts, du code pratique et des liens vers des ressources d’apprentissage

• Fournit des ressources sur les principes fondamentaux des LLMs et des réseaux de neurones

  • Manque de compréhension des logiciels récents pour cartes vidéo
  • La forte dépendance aux GPU conduit à négliger diverses approches du machine learning
  • De meilleurs langages et matériels sont nécessaires pour démocratiser l’IA

• Suit les contenus de Matt Berman, les digest d’actualités résumées sur l’IA et les ressources de Rick Lamers

  • Recommande aussi le nouveau mini-cours de FreeCodeCamp

• Pour rester informé, recommande les subreddits Stable Diffusion et LocalLLaMA plutôt que les blogs techniques

  • La chaîne YouTube d’Andrej Karpathy est également utile