Tests A/B en C# : comment arrêter de deviner et commencer à gagner

Pourquoi votre code C# tourne à vide (et comment y remédier)

Vous avez passé des semaines à refactoriser un algorithme de recommandations. La nouvelle version de RecommendationService est impeccable, le code est plus propre, les requêtes LINQ sont plus rapides. Vous déployez la mise à jour en production, et… le taux de conversion chute de 15%. Cela vous dit quelque chose ? Si non, vous avez de la chance. Si oui, vous venez de perdre du temps et de l'argent, parce que vous vous êtes fié à votre intuition, et non aux données.

Dans le monde du développement C#, il existe une règle d'or : « Ne faites jamais confiance à votre opinion, faites confiance aux statistiques ». C'est exactement à cela que servent les tests A/B (ou tests fractionnés). Ce n'est pas un gadget marketing – c'est une approche d'ingénierie pour prendre des décisions. Dans cet article, nous allons voir comment intégrer des tests A/B complets dans votre application C# : de l'architecture au calcul de la significativité statistique. Et oui, il y aura beaucoup de code.

Qu'est-ce qu'un test A/B dans le contexte C# ?

Imaginez que vous ayez deux versions d'une même logique – le groupe de contrôle A (l'ancienne version) et le groupe expérimental B (la nouvelle version). Vous répartissez aléatoirement les utilisateurs entre les deux, collectez des métriques et, à l'aide des mathématiques, déterminez quelle version est réellement la meilleure.

En C#, cela peut concerner n'importe quoi :

\n
• Modification d'un algorithme de recherche
\n
• Nouveau design d'un formulaire de paiement
\n
• Différentes options de tri des produits
\n
• Expériences sur les durées de mise en cache
\n
• Tests de modèles de ML
\n

Le point clé : les tests A/B en C# ne consistent pas à « mettre un drapeau dans la config ». Il s'agit d'architecture propre, de randomisation et de collecte de métriques sans bugs.

Architecture des tests A/B : Layer Cake en C#

Passons directement à la pratique. Je vais vous montrer une architecture minimale mais fonctionnelle. Elle se compose de trois couches :

\n
1. Assigner – détermine dans quel groupe se trouve l'utilisateur.
\n
2. Feature Decision – quelle variante de code exécuter.
\n
3. Tracker – enregistre l'événement et le résultat.
\n

Étape 1 : Assigner – qui es-tu, utilisateur ?

Le bug le plus fréquent est une mauvaise randomisation. Utiliser Random est une mauvaise idée, car les groupes « dériveraient » au redémarrage de l'application. La bonne solution est une répartition déterministe basée sur l'UserId.

public interface IExperimentAssigner\n{\n    string GetVariant(string userId, string experimentName);\n}\n\npublic class ConsistentExperimentAssigner : IExperimentAssigner\n{\n    public string GetVariant(string userId, string experimentName)\n    {\n        // Crée un hachage stable à partir de userId + experimentName\n        var hash = HashCode.Combine(userId, experimentName);\n        // Prend le modulo 100 – on obtient un pourcentage\n        var bucket = Math.Abs(hash) % 100;\n        \n        // Supposons 50% dans A, 50% dans B\n        return bucket < 50 ? "A" : "B";\n    }\n}\n

Désormais, un même utilisateur sera toujours dans le même groupe pour une expérience donnée. C'est essentiel pour la validité des données.

Étape 2 : Feature Decision – le combat des algorithmes

Maintenant, nous devons faire en sorte que le code choisisse lui-même quelle logique exécuter. Utilisons le pattern Stratégie avec une fabrique.

public interface IPricingStrategy\n{\n    decimal CalculatePrice(decimal basePrice);\n}\n\npublic class OldPricingStrategy : IPricingStrategy\n{\n    public decimal CalculatePrice(decimal basePrice) \n        => basePrice; // Sans réduction\n}\n\npublic class NewPricingStrategy : IPricingStrategy\n{\n    public decimal CalculatePrice(decimal basePrice) \n        => basePrice * 0.9m; // Réduction de 10%\n}\n\npublic class PricingStrategyFactory\n{\n    private readonly IExperimentAssigner _assigner;\n\n    public PricingStrategyFactory(IExperimentAssigner assi