C#中的A/B测试：如何停止猜测并开始盈利

为什么你的C#代码在空转（以及如何修复）

你花了数周时间重构推荐算法。新版本的 RecommendationService 看起来完美无瑕，代码更简洁，LINQ查询更快。你将更新部署到生产环境，然后……转化率下降了15%。熟悉吗？如果不熟悉——你很幸运。如果熟悉——你刚刚损失了金钱和时间，因为 你依赖的是直觉，而不是数据。

在C#开发的世界里，有一条黄金法则：“永远不要相信你的观点，要相信统计数据”。这正是A/B测试（或分割测试）存在的意义。这不是营销噱头——这是一种工程化的决策方法。在本文中，我们将探讨如何将完整的A/B测试集成到你的C#应用程序中：从架构到统计显著性的计算。是的，会有很多代码。

在C#上下文中，什么是A/B测试？

想象一下，你有同一逻辑的两个版本——对照组A（旧版本）和 实验组B（新版本）。你将用户随机分配到这两组中，收集指标，并通过数学方法确定哪个版本确实更好。

在C#中，这可以涉及任何内容：

\n
• 更改搜索算法
\n
• 新的支付表单设计
\n
• 不同的商品排序方式
\n
• 缓存时间实验
\n
• 测试机器学习模型
\n

关键点：C#中的A/B测试不是关于“在配置文件中设置一个标志”。而是关于 清晰的架构、随机化 和 无错误的指标收集。

A/B测试架构：C#中的分层蛋糕

让我们直接进入实践。我将向你展示一个最小但可工作的架构。它由三层组成：

\n
1. 分配器 — 决定用户被分配到哪个组。
\n
2. 功能决策 — 执行哪个代码版本。
\n
3. 跟踪器 — 记录事件和结果。
\n

步骤1：分配器 — 你是谁，用户？

最常见的错误是随机化不正确。使用 Random 是个坏主意，因为当应用程序重启时，分组会“漂移”。正确的解决方案是 基于用户ID的确定性分配。

public interface IExperimentAssigner\n{\n    string GetVariant(string userId, string experimentName);\n}\n\npublic class ConsistentExperimentAssigner : IExperimentAssigner\n{\n    public string GetVariant(string userId, string experimentName)\n    {\n        // 从 userId + experimentName 创建稳定的哈希值\n        var hash = HashCode.Combine(userId, experimentName);\n        // 取模100 — 得到百分比\n        var bucket = Math.Abs(hash) % 100;\n        \n        // 假设50%在A组，50%在B组\n        return bucket < 50 ? "A" : "B";\n    }\n}\n

现在，对于特定实验，同一个用户将始终处于同一组。这对数据的正确性至关重要。

步骤2：功能决策 — 算法的对决

现在，我们需要代码自行选择执行哪个逻辑。使用 策略 模式配合工厂。

public interface IPricingStrategy\n{\n    decimal CalculatePrice(decimal basePrice);\n}\n\npublic class OldPricingStrategy : IPricingStrategy\n{\n    public decimal CalculatePrice(decimal basePrice) \n        => basePrice; // 无折扣\n}\n\npublic class NewPricingStrategy : IPricingStrategy\n{\n    public decimal CalculatePrice(decimal basePrice) \n        => basePrice * 0.9m; // 10%折扣\n}\n\npublic class PricingStrategyFactory\n{\n    private readonly IExperimentAssigner _assigner;\n\n    public PricingStrategyFactory(IExperimentAssigner assi