Cas d’usage du serverless dans l’Airbridge Data Pipeline

• Introduction
• Contexte de l’adoption des technologies serverless dans le Data Pipeline : en cherchant un environnement adapté pour exécuter du code à des intervalles plus courts qu’une heure, l’équipe a choisi d’utiliser des technologies serverless
• Un environnement de déploiement Lambda peu pratique : avec l’IaC via Terraform, non seulement il fallait écrire beaucoup de code, mais le packaging Lambda, entre autres, était également contraignant
• Adoption du Serverless Framework : il permet de bien configurer et exploiter le système avec peu de code, et facilite le build et les tests
  • Point regrettable : il n’est pas possible de voir le plan, et les inconvénients de CloudFormation restent inchangés
  • Conclusion : malgré certains points regrettables, le Serverless Framework offre bien plus d’avantages que d’inconvénients, donc il continuera à être utilisé. En réalité, il y a plus de problèmes du côté de l’environnement Lambda que du Serverless Framework.
• Cas d’usage
  • Cas 1 : Kafka Connect Manager
  • Cas 2 : Exécution de batch jobs
• Conclusion