Wolfram Compute Services

• Wolfram Compute Services est un service de cloud computing entièrement programmable qui permet d’augmenter massivement les calculs Wolfram Language
• Les utilisateurs envoient des calculs complexes sur des serveurs distants avec la commande RemoteBatchSubmit, puis reçoivent automatiquement les résultats une fois l’exécution terminée
• Il est possible de choisir jusqu’à 192 cœurs et 1,5 To de mémoire, avec prise en charge du traitement parallèle sur des centaines de cœurs via RemoteBatchMapSubmit
• Les tâches peuvent être gérées via des notifications par e-mail et tableau de bord, des limites de temps et de crédits, une gestion automatique des dépendances, etc.
• Il fournit instantanément la scalabilité de niveau superordinateur du Wolfram Language, simplifiant les environnements de calcul de la recherche et de l’industrie

---

Aperçu de Wolfram Compute Services

• Wolfram Compute Services est un système qui permet d’exécuter des calculs Wolfram Language à grande échelle dans le cloud
  • En soumettant le code avec RemoteBatchSubmit, les calculs sont effectués sur les serveurs de Wolfram et les résultats sont renvoyés
  • À partir de Wolfram Desktop 14.3 et versions ultérieures, l’activation est immédiate avec la commande RemoteBatchSubmissionEnvironment["WolframBatch"]
• Il étend des fonctions de parallélisation existantes comme ParallelMap et ParallelTable, en automatisant l’accès à des ressources de calcul à grande échelle
• Tous les calculs sont traités sur une représentation symbolique, ce qui permet de manipuler directement des types de données variés comme des nombres, des images, des graphes et des vidéos

Extension des calculs et environnement d’exécution

• Les utilisateurs peuvent ajuster la taille des tâches en choisissant diverses classes de machines
  • Exemples : Basic1x8 (1 cœur, 8 Go), Compute192x384 (192 cœurs, 384 Go), Memory192x1536 (192 cœurs, 1,5 To)
• RemoteBatchMapSubmit est une version étendue de ParallelMap qui réalise des traitements parallèles à grande échelle sur plusieurs machines
  • Il crée automatiquement des jobs enfants répartis par cœur, qui peuvent être consolidés avec Catenate
• L’état des tâches peut être consulté en temps réel via un tableau de bord web, et un aperçu des résultats est envoyé par e-mail à la fin

Exemple : génération de PentagonTiling et exploration d’automates cellulaires

• Un exemple de génération de motifs d’octagones non chevauchants est présenté avec la fonction PentagonTiling
  • Le calcul de 20 octogones est traité rapidement en local, tandis que 500 ou plus sont envoyés à Compute Services pour exécution
  • Les résultats sont transmis par e-mail et des calculs complémentaires peuvent ensuite être lancés immédiatement dans Wolfram Notebook
• Un cas d’exploration parallèle à grande échelle est présenté pour tester 100 millions de règles d’automates cellulaires
  • Sur une machine 192 cœurs, l’exécution se termine en quelques heures, et les résultats sont obtenus en moins de 3 minutes avec RemoteBatchMapSubmit
  • Un total de 8 heures de temps processeur est consommé en parallèle

Contrôle programmable et fonctions de gestion

• Chaque tâche peut être configurée avec des options telles que la limite de temps (TimeConstraint), la limite de crédits (CreditConstraint) et le nom de la tâche (RemoteJobName), entre autres
• Le système de notification (RemoteJobNotifications) permet de recevoir, par e-mail ou SMS, les changements d’état, la consommation de crédits et l’écoulement du temps
• Les résultats des tâches sont conservés par défaut pendant 2 semaines, et peuvent être archivés de manière permanente dans Wolfram Cloud via CloudPut si nécessaire
• En cas d’échec, il est possible d’analyser les journaux détaillés via JobLogTabular, puis d’interrompre la tâche avec RemoteBatchJobAbort

Perspectives d’évolution

• Compute Services a démarré en tant qu’environnement de calcul par lots et prévoit d’ajouter une exécution synchrone de noyau distant
• Grâce à Wolfram HPCKit, les organisations pourront configurer leur propre infrastructure HPC avec RemoteBatchSubmit comme backend
  • La connexion à des fournisseurs de batch personnalisés autres que WolframBatch est prévue
• Ce service est le dernier stade de l’écosystème Wolfram Cloud, Application Server et Engine, qui a évolué depuis le Mathematica de 1988
• L’objectif est de fournir instantanément des capacités de calcul de niveau superordinateur, afin que chercheurs et développeurs puissent effectuer facilement des calculs à grande échelle