QAMap – un CLI local qui lit les commits et les diffs pour proposer des scénarios de QA de PR

Bonjour. Je développe QAMap, un CLI local qui lit le contexte des changements dans une PR et conçoit la QA nécessaire.

Le goulot d’étranglement que j’ai ressenti en équipe produit n’était pas tant l’écriture de tests, mais le fait de devoir réévaluer à chaque PR « ce que ce changement doit prouver ». Au départ, QAMap analysait le diff et la structure du projet pour recommander des ébauches E2E avec Playwright et Maestro, mais dans les faits, cela restait souvent limité à des éléments que les développeurs connaissaient déjà et à de simples tests d’écran de réussite.

J’ai donc changé d’objectif. Plutôt que de chercher à comprendre parfaitement tous les domaines, l’outil s’appuie sur les commits et les diffs pour résumer l’intention du changement et le flux fonctionnel, puis suggère les QA qui ont le plus de chances d’avoir été oubliées parmi les cas nominaux, les échecs, les limites et les transitions d’état. Pour les jugements difficiles à établir avec certitude, il affiche également les éléments qui les justifient ainsi qu’un niveau de confiance.

À terme, l’objectif est d’en faire un outil de QA local qui, lorsqu’une PR est créée, identifie les fonctionnalités affectées, prépare les E2E, mocks et fixtures nécessaires, les exécute en toute sécurité, puis conserve les éléments de preuve de la validation. La version actuelle est la v0.4.0, et je continue à l’améliorer en vérifiant un à un les cas où il se trompe sur de vrais dépôts afin de me rapprocher de cet objectif.

Le projet en est encore à ses débuts, il peut donc mal interpréter certaines choses ou passer à côté de scénarios importants. Ce dont j’ai le plus besoin aujourd’hui, ce sont de vrais cas d’échec. Si QAMap tire des conclusions absurdes ou propose des tests inutilisables, n’hésitez pas à me le signaler.

[jeongjin0]

J’aime bien cette approche qui propose localement, à partir des diff, des scénarios allant jusqu’aux cas limites et aux transitions d’état. S’il était plus facile de voir, pour chaque scénario, de quel hunk de diff ou de quel fichier provient la justification, cela permettrait sans doute de filtrer plus facilement les faux positifs au moment de la revue.

[kyo3553]

Merci pour vos retours !