Rust para Big Data: Procesando millones de filas más rápido que Python

¿Por qué Rust es el nuevo rey del procesamiento de Big Data?

¿Alguna vez ha esperado 20 minutos mientras un script en Python procesa un archivo CSV de 10 GB? ¿Y luego otros 10 minutos porque se acabó la memoria y el sistema entró en swap? ¿Le suena familiar?

El mundo del Big Data ha pertenecido durante mucho tiempo a Python y su ecosistema: Pandas, NumPy, Dask. Pero hay un problema: Python es lento. Muy lento. Y cuando los datos se miden en terabytes, cada milisegundo extra se convierte en horas de inactividad.

Aquí entra en escena Rust. Un lenguaje de sistemas que ofrece el rendimiento de C++ y la seguridad de memoria, pero con una sintaxis que (spoiler) se puede llegar a amar. Y sí, es ideal para el procesamiento de Big Data.

En este artículo, analizaremos cómo Rust permite procesar enormes volúmenes de datos de forma más rápida, segura y con menor consumo de memoria. Sin magia, solo código y mediciones.

Rust vs Python para Big Data: ¿qué hay dentro?

Vayamos directo a los números. Aquí hay una prueba simple: leer un archivo CSV de 500 MB, filtrar filas por una condición y calcular la suma.

15 veces más rápido y 5 veces más eficiente en memoria. Y esto no es el límite. Rust ofrece control sobre cada byte, sobre cada asignación. No perdona errores, pero ofrece una velocidad que Python nunca alcanzará.

Herramientas de Rust para Big Data

Antes de escribir código, veamos qué hay en el arsenal. Rust no se queda quieto: el ecosistema para trabajar con datos está creciendo activamente.

Bibliotecas principales

\n
• Polars — análogo de Pandas, pero en Rust. Soporta cómputos diferidos (lazy), procesamiento paralelo y trabaja con datos que no caben en memoria.
\n
• Apache Arrow — formato de datos en columnas que permite intercambiar datos entre diferentes lenguajes sin copiarlos.
\n
• DataFusion — motor SQL en Rust que puede ejecutar consultas directamente sobre datos Arrow.
\n
• rayon — biblioteca para iteraciones paralelas. Permite paralelizar fácilmente cualquier procesamiento.
\n
• csv — analizador rápido de archivos CSV con asignaciones mínimas.
\n
• serde — serialización/deserialización. Esencial para trabajar con JSON, YAML, TOML.
\n

Usaremos Polars y rayon, ya que son el estándar de facto para el procesamiento de Big Data en Rust.

Ejemplo práctico: procesamiento de registros de un servidor web

Imagine que tiene 100 millones de registros de logs de Nginx. Necesita:

\n
1. Filtrar solo los errores 5xx
\n
2. Agrupar por dirección IP
\n
3. Contar el número de errores por cada IP
\n
4. Mostrar el top-10 de atacantes
\n

En Python con Pandas, esto tomaría unos 2-3 minutos y consumiría toda la RAM. En Rust, 15-20 segundos.

Estructura de datos

Supongamos que cada registro se ve así:

192.168.1.1 - - [10/Oct/2023:13:55:36 +0000] "GET /api/data HTTP/1.1" 500 1234 "-" "Mozilla/5.0"

Necesitamos analizar la cadena, extraer la IP y el código de respuesta. En Rust, esto se hace a través de un tipo de estructura personalizada:

use serde::Deserialize;\n\n#[derive(Debug, Deserialize)]\nstruct LogEntry {\n    ip: String,\n    status_code: u16,\n    method: String,\n    path: String,\n    user_agent: String,\n}

Análisis de CSV con Polars

Polars es por lo que vale la pena probar