Мутационное тестирование C++: как сделать код неубиваемым

Мутационное тестирование в C++: когда 100% покрытие кода — это ложь

Вы гордитесь своими 95% code coverage? Возможно, вы зря. Покрытие кода — это как замок, который проверяют, просто подёргав за ручку. А мутационное тестирование — это взломщик, который реально пытается вскрыть сейф. В этой статье мы разберём, как мутационное тестирование C++ превращает ваши тесты из формальности в настоящее оружие. И да, мы не будем копипастить скучные определения из википедии.

Представьте: вы написали функцию, покрыли её тестами, CI зелёный. А потом баг уходит в прод. Знакомая боль? Чаще всего проблема не в коде, а в тестах, которые проверяют не то, что нужно. Mutation testing для C++ решает именно эту проблему — он показывает, насколько ваши тесты действительно опасны для багов.

Что такое мутационное тестирование и зачем оно C++ разработчику?

Мутационное тестирование (или mutation testing) — это методика оценки качества тестов путём внесения мелких изменений (мутаций) в исходный код. Если после мутации тесты всё ещё проходят — значит, они слабые. Мутант выжил. Если тесты падают — мутант убит, тест работает.

Для C++ это особенно актуально, потому что:

• C++ код часто содержит сложную логику с указателями, шаблонами и RAII.
• Стандартные метрики покрытия (line coverage, branch coverage) легко обмануть.
• Цена бага в C++ (особенно в embedded, finance, game engines) может быть катастрофической.

Простой пример: у вас есть функция проверки возраста:

bool is_adult(int age) {
    return age >= 18;
}

Тест:

TEST(AdultTest, Positive) {
    EXPECT_TRUE(is_adult(20));
}

Покрытие: 100% строк. Но мутация age >= 18 → age > 18 не будет обнаружена, потому что 20 всё ещё проходит. Мутант выжил. А если бы у вас был тест на is_adult(18) и is_adult(17) — вы бы поймали баг. Мутационное тестирование C++ заставляет вас писать такие пограничные тесты.

Основные операторы мутации в C++

Инструменты мутационного тестирования применяют набор операторов (mutators). Вот самые распространённые для C++:

• Замена арифметических операторов: + → -, * → /
• Замена логических операторов: && → ||, == → !=
• Изменение граничных условий: >= → >, < → <=
• Удаление выражений: вызов функции заменяется на константу
• Изменение возвращаемого значения: return true → return false
• Мутация циклов: изменение условия выхода или шага

Пример с реальным кодом:

int factorial(int n) {
    if (n <= 1) return 1;
    return n * factorial(n - 1);
}

Мутация #1: n <= 1 → n < 1. Если тест вызывает factorial(1) и ожидает 1, но мутация убирает базовый случай — тест упадёт только если вы проверяете factorial(0) или factorial(1) отдельно.

Мутация #2: return n * factorial(n - 1) → return n + factorial(n - 1). Если тесты только на положительные числа, они могут не заметить подмены умножения на сложение.

Именно такие кейсы вскрывает mutation testing в C++.

Инструменты для мутационного тестирования C++

Не все инструменты одинаково полезны. Вот три основных игрока на рынке C++:

1. Mull

Современный, активный проект. Работает на основе LLVM pass. Поддерживает C++17/20, интегрируется с Google Test, Catch2, doctest. Умеет делать инкрементальный анализ — повторно не тестирует то, что не изменилось.

Пример использования:

mull-runner test_binary --reporters=IDE

Плюсы: быстрый, открытый код, хорошая документация. Минусы: требует сборки с флагами LLVM.

2. Dextool (Mull-based)

Расширенная версия Mull с веб-интерфейсом и историей изменений. Отлично подходит для CI/CD. Позволяет видеть, какие мутанты выживают при каждом коммите.

3. libfuzzer + мутации (самописный подход)

Для экстремалов: можно написать свой мутатор на основе libfuzzer. Но это оверхед, обычно не стоит того, если есть готовые инструменты.

Важно: не путайте мутационное тестирование с фаззингом. Фаззинг ищет баги в коде, мутационное тестирование — слабые места в тестах. Они дополняют друг друга.

Как внедрить mutation testing в C++ проект: пошаговый план

Давайте на пальцах разберём, как начать использовать мутационное тестирование C++ без боли.

Шаг 1. Выберите инструмент. Рекомендую начать с Mull. Он ставится через vcpkg или собирается из исходников.

Шаг 2. Соберите тестовый бинарник с флагами покрытия. Mull анализирует бинарник, собранный с -g -O0 -fprofile-instr-generate -fcoverage-mapping.

Шаг 3. Запустите Mull на небольшом модуле. Не пытайтесь сразу прогнать весь проект — мутационное тестирование может быть медленным (в 10-100 раз дольше обычных тестов).

mull-runner ./tests --reporters=IDE --mutators=cxx_comparison,cxx_arithmetic

Шаг 4. Анализируйте живых мутантов. Инструмент покажет строки, где мутации выжили. Допишите тесты для этих граничных случаев.

Шаг 5. Встройте в CI. Запускайте мутационное тестирование только на изменённых файлах (инкрементальный режим). Mull это поддерживает.

Сложности и подводные камни

Честно предупреждаю: mutation testing в C++ —