Posits, un nouveau type de nombres qui améliore les mathématiques de l’IA

• L’entraînement de grands réseaux neuronaux nécessite une puissance de calcul massive
  • Dans le cas d’OpenAI GPT-3, le seul entraînement aurait coûté plus de $5m
• Les ingénieurs ont imaginé d’autres façons de représenter les nombres afin de réduire cette charge de coût
• Proposés en 2017, les Posits constituent une amélioration par rapport aux processeurs arithmétiques en virgule flottante utilisés aujourd’hui
• Le premier cœur implémentant cela au niveau matériel a été développé. Par rapport à l’approche FP actuelle, la précision des calculs peut augmenter jusqu’à 4 fois

  Comme la loi de Moore cesse de vraiment s’appliquer, il faut trouver des moyens d’obtenir plus de performances sur une même machine
  L’une de ces méthodes consiste à modifier la façon d’encoder les nombres réels et de représenter les valeurs numériques elles-mêmes

• Ce n’est pas le seul endroit où l’on tente de changer la nature des nombres. Récemment, Nvidia, Arm et Intel se sont mis d’accord pour utiliser des nombres en virgule flottante 8 bits au lieu de 32/16 bits pour les applications de machine learning
  • Utiliser un format plus petit et moins précis améliore l’efficacité et l’usage mémoire, au prix d’une perte de précision des calculs
• Les nombres réels étant infinis, le matériel ne peut pas les représenter parfaitement
• Pour tenir dans un nombre de bits donné, de nombreux nombres réels doivent être arrondis
• L’avantage des Posits vient de la manière dont les nombres qu’ils cherchent à représenter précisément sont répartis le long de la droite numérique
  ( Pour la répartition réelle des Posits, veuillez consulter l’illustration incluse dans l’article. )
• Le gain de précision obtenu est indéniable, mais il reste à voir quel impact exact cela aura en pratique sur l’entraînement de grands modèles d’IA comme GPT-3