Как правильно замерить производительность кода на Rust: бенчмаркинг и профилирование

Правильный бенчмаркинг в Rust: от простого к продвинутому

Ваша проблема типична для новичков: ручные замеры через std::time::Instant дают шум из-за планировщика ОС, кэша процессора, троттлинга CPU и компиляторных оптимизаций. Rust предоставляет несколько уровней инструментов для точного измерения производительности.

1. Встроенный тестовый бенчмаркинг (nightly)

Если вы используете nightly-канал Rust, можно задействовать #[bench] атрибут. Добавьте в Cargo.toml:

[[bench]]
name = "my_bench"
harness = false

Создайте файл benches/my_bench.rs:

#![feature(test)]
extern crate test;

use test::Bencher;

#[bench]
fn bench_sum_for(b: &mut Bencher) {
    let data = vec![1; 1_000_000];
    b.iter(|| sum_for(&data));
}

#[bench]
fn bench_sum_iter(b: &mut Bencher) {
    let data = vec![1; 1_000_000];
    b.iter(|| sum_iter(&data));
}

Запуск: cargo bench. Bencher автоматически прогревает код, делает множество итераций и выдаёт стабильные наносекунды на операцию. Но nightly нестабилен, поэтому для production чаще используют criterion.

2. Criterion — золотой стандарт

Добавьте в Cargo.toml:

[dev-dependencies]
criterion = "0.5"
[[bench]]
name = "my_bench"
harness = false

В benches/my_bench.rs:

use criterion::{black_box, criterion_group, criterion_main, Criterion};

fn criterion_benchmark(c: &mut Criterion) {
    let data = vec![1; 1_000_000];
    
    c.bench_function("sum_for", |b| {
        b.iter(|| sum_for(black_box(&data)))
    });
    
    c.bench_function("sum_iter", |b| {
        b.iter(|| sum_iter(black_box(&data)))
    });
}

criterion_group!(benches, criterion_benchmark);
criterion_main!(benches);

Ключевые моменты:

• black_box — предотвращает оптимизацию компилятора, которая может выкинуть ваш код как "мёртвый".
• Criterion выполняет прогревочные итерации, измеряет время с микросекундной точностью и строит графики (HTML-отчёт в target/criterion).
• Результат: "time: [1.234 ms 1.345 ms 1.456 ms]" — доверительный интервал 95%.

3. Профилирование памяти и узких мест

Для анализа аллокаций используйте dhat (крэйт для heap-профилирования):

#[global_allocator]
static ALLOC: dhat::Alloc = dhat::Alloc;

fn main() {
    let _profiler = dhat::Profiler::new_heap();
    // ваш код
    // после завершения — смотрим статистику
}

Для CPU-профилирования под Linux: perf record ./target/release/my_program + perf report. Для Windows — WPR/WPA. Есть также flamegraph крэйт, который строит флейм-графы.

4. Практические советы

• Всегда компилируйте в release: cargo bench автоматически использует --release.
• Изолируйте бенчмарк: не делайте замеры в main() — фоновые процессы влияют.
• Используйте black_box: чтобы компилятор не выкинул результат.
• Сравнивайте версии: Criterion умеет сохранять историю и показывать регрессии.
• Для маленьких функций (менее 100 нс) — увеличьте количество итераций или используйте Bencher::iter_batched.

Пример полного вывода criterion:

sum_for                 time:   [1.234 ms 1.256 ms 1.289 ms]
                        change: [-0.32% +0.12% +0.54%] (p = 0.78 > 0.05)
                        No change in performance detected.
Found 1 outliers among 100 measurements (1.00%)
  1 (1.00%) high mild

Это означает, что разброс мал, а изменение статистически незначимо.

Итог

Для серьёзного бенчмаркинга используйте criterion — он решает все проблемы с шумом, оптимизациями и статистикой. Для быстрых проверок — cargo bench с nightly. Профилирование памяти — dhat, CPU — perf/flamegraph. Избегайте ручных замеров через Instant в production-коде.

use pixie::Pixie;

let pixie = Pixie::new();
pixie.start();
// ваш код
let counters = pixie.stop();
println!("Cycles: {}, Instructions: {}", counters.cycles, counters.instructions);