PHP: читаем гигабайтный файл построчно без вылета

Онлайн-тренажер Python для начинающих

Изучайте Python легко и без перегрузки теорией. Решайте практические задачи с автоматической проверкой, получайте подсказки на русском языке и пишите код прямо в браузере — без необходимости что-либо устанавливать.

Начать курс

Вступление: когда обычный file_get_contents убивает сервер

Представьте ситуацию: вы пишете парсер логов, импортер CSV с миллионами строк или обрабатываете дамп базы данных. Вы пишете $data = file_get_contents('bigfile.log'); — и ваш PHP-скрипт падает с ошибкой Fatal error: Allowed memory size exhausted. Знакомо? Если нет — повезло. Но рано или поздно каждый разработчик сталкивается с задачей: «Как прочитать большой файл построчно, не убив сервер?».

На Stack Overflow вопрос «How to read a large file line by line?» набрал сотни тысяч просмотров. И это не случайно. В этой статье мы разберем не просто один способ, а несколько подходов — от базового до продвинутого. Вы узнаете, как читать файлы размером в десятки гигабайт, используя всего пару мегабайт оперативной памяти. Поехали!

Почему file_get_contents и file() — это зло для больших файлов

Прежде чем погрузиться в оптимизацию, давайте разберемся, почему стандартные функции не подходят.

file_get_contents() — загружает весь файл в строку. Если файл весит 2 ГБ, PHP попытается выделить 2 ГБ оперативной памяти. На хостинге с лимитом memory_limit в 128 МБ это гарантированный фатал.
file() — тоже читает весь файл, но еще и разбивает на массив строк. Потребление памяти вырастает еще сильнее (плюс накладные расходы на массив).

Мораль: если файл больше 10-20% от вашего memory_limit — забудьте про эти функции. Нам нужен потоковый подход.

Способ 1: Классика — fgets() и дескриптор файла

Самый базовый и надежный способ — открыть файл через fopen() и читать его построчно через fgets(). Этот подход использует внутренний буфер PHP, который обычно равен 8 КБ, и не загружает весь файл в память.

<?php
$handle = fopen('bigfile.log', 'r');
if ($handle) {
    while (($line = fgets($handle)) !== false) {
        // Обрабатываем строку
        echo $line; // или пишем в БД, или считаем что-то
    }
    fclose($handle);
} else {
    // Ошибка открытия файла
    echo "Не удалось открыть файл.";
}
?>

Плюсы: минимальное потребление памяти, работает на любом PHP.

Минусы: нужно явно закрывать файл, нет удобных методов для пропуска заголовков или итерации по строкам с подсчетом.

Этот код переживет файл любого размера, если вы не пытаетесь сохранить все строки в массив внутри цикла.

Способ 2: SplFileObject — объектно-ориентированный подход

Начиная с PHP 5.1, у нас есть замечательный класс SplFileObject. Он реализует интерфейсы Iterator и SeekableIterator, что делает его идеальным для построчного чтения.

<?php
$file = new SplFileObject('bigfile.log');
while (!$file->eof()) {
    $line = $file->fgets();
    // Обрабатываем строку
    echo $line;
}
?>

Но есть нюанс! SplFileObject по умолчанию тоже может загружать строки в память, если вы используете current() внутри foreach. Чтобы гарантировать низкое потребление, используйте fgets() в цикле while, как показано выше.

Более продвинутый вариант — сбросить флаги для оптимизации:

<?php
$file = new SplFileObject('bigfile.log');
$file->setFlags(SplFileObject::DROP_NEW_LINE); // Убираем \n из строки

foreach ($file as $lineNum => $line) {
    // $lineNum — номер строки (начиная с 0)
    echo "Строка $lineNum: $line\n";
}
?>

Важно: При использовании foreach с SplFileObject, PHP все равно читает по одной строке за раз. Память не страдает. Но если вы попытаетесь вызвать $file->seek(1000000) и потом прыгать по файлу — будьте осторожны: seek перебирает строки последовательно, что медленно на больших файлах.

Способ 3: Генераторы (yield) — элегантность и переиспользование

Генераторы в PHP (с версии 5.5) — это мощный инструмент для работы с большими данными. Вы можете написать функцию, которая отдает строки по одной, не создавая массив.

<?php
function readLargeFile($filename) {
    $handle = fopen($filename, 'r');
    if (!$handle) {
        throw new Exception("Не удалось открыть файл: $filename");
    }
    while (($line = fgets($handle)) !== false) {
        yield $line;
    }
    fclose($handle);
}

// Использование
foreach (readLargeFile('bigfile.log') as $line) {
    // Обрабатываем строку
    echo $line;
}
?>

Этот подход особенно полезен, когда логика чтения должна быть отделена от логики обработки. Вы можете передать генератор в другую функцию, например, для фильтрации или трансформации данных.

Пример с фильтрацией:

<?php
function filterLines($generator, $keyword) {
    foreach ($generator as $line) {
        if (strpos($line, $keyword) !== false) {
            yield $line;
        }
    }
}

$lines = readLargeFile('access.log');
$errorLines = filterLines($lines, 'ERROR');

foreach ($errorLines as $line) {
    // Только строки с ошибками
    echo $line;
}
?>

Генераторы — это «ленивая» итерация. Они не нагружают память, потому что в каждый момент времени существует только одна строка.