Leyendo archivos gigantes en PHP línea por línea sin matar el servidor

Introducción: «Error fatal» y 2 gigabytes de logs

Imagine: usted es desarrollador y un administrador de sistemas se le acerca con una memoria USB. En ella hay un archivo de log del servidor web de los últimos seis meses. ¿El tamaño? Unos modestos 2.5 gigabytes. «Necesito encontrar todas las direcciones IP desde las que hubo intentos de fuerza bruta», dice y se va a tomar un café.

Usted abre el IDE y escribe automáticamente:

$lines = file('huge_log.txt');foreach ($lines as $line) {    // parseamos...}

Presiona «Ejecutar»... y ve una pantalla blanca en el navegador, y en los logs de errores — Fatal Error: Allowed memory size exhausted. ¿Le suena familiar? Esta es la trampa clásica en la que casi todos los desarrolladores PHP han caído.

La pregunta «How to read a large file line by line?» en Stack Overflow ha acumulado cientos de miles de visitas por una razón. Es uno de esos problemas donde la solución «ingenua» mata al servidor, mientras que el enfoque correcto salva el proyecto. Hoy analizaremos cómo leer archivos enormes en PHP sin exceder el límite de memoria y manteniendo un alto rendimiento. ¡Allá vamos!

¿Por qué file() y file_get_contents() son malos para datos grandes?

Aclaremos el mito principal de inmediato. Las funciones file() y file_get_contents() son funciones voraces. Cargan todo el archivo en la memoria RAM de una sola vez. Si su archivo pesa 2 GB y el límite memory_limit en php.ini está configurado en 128 MB (valor estándar para muchos hosting), obtendrá un error garantizado.

Además, PHP almacena las cadenas en una codificación que puede aumentar el consumo de memoria de 2 a 4 veces en relación con el tamaño del archivo en disco. ¡Es decir, 2 GB de logs pueden «consumir» de 6 a 8 GB de RAM!

Conclusión: si el tamaño del archivo supera el 10-20% de su memory_limit, olvídese de file(). Necesitamos un enfoque de flujo (streaming).

La forma correcta: fgets() y lectura por flujo

El método más fiable y eficiente es usar fopen() junto con fgets(). Estas funciones no leen el archivo completo, sino una línea a la vez. Imagine que está bebiendo jugo con una pajita: no se toma todo el vaso de un solo trago, sino que lo sorbe poco a poco. Así funciona la lectura por flujo.

Aquí hay un ejemplo básico pero funcional:

<?php$handle = fopen('huge_log.txt', 'r');if ($handle) {    while (($line = fgets($handle)) !== false) {        // Procesamos una línea        echo $line;    }    fclose($handle);}?>

¿Qué sucede aquí? fopen() abre el archivo y devuelve un puntero (resource). fgets() lee una línea cada vez hasta el carácter de nueva línea (). La memoria se asigna solo para la línea actual, no para todo el archivo. Después del procesamiento, la línea es destruida por el recolector de basura (o sobrescrita).

Matices importantes de rendimiento

• Tamaño del búfer: fgets() por defecto lee hasta 8192 bytes a la vez. Si las líneas son más largas, la función hará varias iteraciones. Para la gran mayoría de logs, esto es suficiente.
• Comprobación de false: Use siempre la comparación estricta !== false. ¿Por qué? Porque una línea puede estar vacía ("") o contener "0", y while ($line = fgets($handle)) podría detenerse prematuramente.
• Cierre del archivo: Siempre llame a fclose(). Sí, PHP lo hará automáticamente al finalizar el script, pero si procesa el archivo en un bucle o en un script en segundo plano, los descriptores no cerrados son una fuga de recursos.

Súper carga: Generadores (yield) para reutilización

La gestión manual de fopen/fclose está bien, pero si necesita leer diferentes archivos en diferentes partes del proyecto, el código comenzará a duplicarse. Aquí vienen al rescate los generadores, una de las características más elegantes de PHP.

Un generador permite crear una función que