Pruebas A/B en Java: cómo no adivinar, sino saber con certeza

Introducción: Por qué su aplicación pierde dinero y usted no lo nota

¿Alguna vez se ha preguntado cuántos usuarios abandonan su aplicación Java debido a un botón "Comprar" desafortunado? ¿O quizás el nuevo sistema de recomendaciones en el que trabajó durante un mes en realidad empeoró la conversión? En el mundo del desarrollo hay muchas soluciones "obvias" que fracasan estrepitosamente. La única forma de no adivinar con una bola de cristal es mediante pruebas A/B en Java.

En este artículo, analizaremos cómo implementar una prueba A/B completa directamente en su aplicación Java. Aprenderá cómo dividir a los usuarios en grupos, realizar un experimento y, lo más importante, no cometer errores estadísticos. Sin rodeos, solo código y práctica. ¡Vamos allá!

¿Qué son las pruebas A/B y por qué las necesita un desarrollador Java?

Las pruebas A/B (o pruebas divididas) son un método para comparar dos versiones (A y B) de una interfaz, algoritmo o lógica, para determinar cuál funciona mejor. En términos simples: muestra el botón antiguo al 50% de los usuarios y el nuevo al otro 50%, y observa dónde hay más clics.

Para las aplicaciones Java, esto es especialmente relevante:

• Lógica de backend: Cambio del algoritmo de ordenación de productos, recomendaciones, fijación de precios.
• API y microservicios: Prueba de una nueva versión de un endpoint en una parte del tráfico.
• Componentes de UI: Si su framework Java (por ejemplo, Vaadin o Spring MVC) renderiza HTML.

La idea clave: las pruebas A/B en aplicaciones Java permiten tomar decisiones basadas en datos, no en la intuición. Esto reduce los riesgos y mejora las métricas del producto.

Arquitectura de una prueba A/B: Pensando como un ingeniero

Antes de escribir código, diseñemos el sistema. Necesitamos:

1. Servicio de asignación de variantes — quién entra en qué grupo.
2. Almacén de experimentos — donde se guardan las configuraciones (qué experimento está activo, qué porcentaje de tráfico).
3. Recolector de eventos — registro de las acciones del usuario.
4. Analizador — una herramienta externa o script para calcular estadísticas.

En este artículo nos centraremos en los dos primeros puntos, ya que la recopilación y el análisis son temas para artículos aparte.

Servicio de aleatorización: Que no haya errores en random()

La forma más sencilla de dividir el tráfico es usar Math.random(). Pero esto no es fiable: al reiniciar la JVM, un usuario podría terminar en un grupo diferente. Necesitamos una aleatorización determinista basada en el identificador del usuario.

El mejor enfoque es aplicar un hash al userId y tomar el resto de la división. De esta manera, el usuario siempre verá la misma versión mientras el experimento esté activo.

public class RandomizationService {

    public String assignVariant(String userId, String experimentId, int splitPercent) {        // Usamos userId + experimentId para el determinismo        String seed = userId + ":" + experimentId;        int hash = Math.abs(seed.hashCode());        int bucket = hash % 100;

        if (bucket < splitPercent) {            return "B"; // Nueva versión        } else {            return "A"; // Versión de control        }    }}

Importante: hashCode() puede ser negativo, por lo que usamos Math.abs(). También hay que tener en cuenta que la distribución no será perfectamente uniforme con pocos usuarios, pero para más de 1000 usuarios es suficiente.

Ejemplo real: Prueba A/B en Spring Boot

Supongamos que tenemos una tienda online en Spring Boot. Queremos probar un nuevo modelo de precios: mostrar un descuento solo si el usuario ha estado en el sitio más de 30 segundos (versión B) frente al descuento normal (versión A).