Nvidia 4090 et M1/M2/M3 comparés avec Whisper et MLX

• Benchmark des performances de MLX, le framework de machine learning présenté par Apple
• Transcription d’un audio de 10 minutes avec Whisper
  • M1 Pro (modèle 2021) + MLX + 32 Go de RAM : 216 secondes
  • i7 + 4090 + 64 Go de RAM : 186 secondes
    • Un GPU à 2 000 € est 30 secondes (16 %) plus rapide que le M1
  • M2 Ultra (76 GPU) : 95 secondes
  • M3 Max (40 GPU) : 100 secondes
• En utilisant insanely-fast-whisper, optimisé pour Nvidia, l’opération se termine en seulement 8 secondes sur une 4090
  • En exécutant ce modèle sur un M1, cela prend plus de temps, soit 359 secondes

[xguru]

MLX - un framework d’array similaire à Numpy pour Apple Silicon