Distinct по одному полю в C#: как убрать дубликаты объектов

Проблема: Distinct() не умеет фильтровать по полю

Представьте: у вас есть список клиентов, и в нём затесались дубликаты по email. Вы пишете:

var uniqueClients = clients.Distinct().ToList();

И с удивлением обнаруживаете, что дубликаты никуда не делись. Почему? Потому что стандартный Distinct() сравнивает целые объекты по ссылке (или по Equals, если вы его переопределили). Он не знает, что для вас «уникальность» — это уникальный Email, а не уникальный экземпляр класса.

Этот вопрос — один из самых популярных на Stack Overflow по LINQ (более 500 тысяч просмотров). И сегодня мы разберём 3 рабочих способа решить эту задачу на C#. Поехали!

Способ 1. GroupBy + First (классика жанра)

Самый простой и понятный метод, который не требует установки сторонних библиотек. Идея: сгруппировать объекты по нужному свойству, а затем взять первый элемент из каждой группы.

var uniqueByEmail = clients
    .GroupBy(c => c.Email)
    .Select(g => g.First())
    .ToList();

Как это работает:

• GroupBy(c => c.Email) — разбивает коллекцию на группы, где ключом является email.
• Select(g => g.First()) — из каждой группы берёт первый попавшийся объект.
• Остальные дубликаты отбрасываются.

Плюсы:

• Работает «из коробки» (только using System.Linq;).
• Интуитивно понятно даже новичку.
• Сохраняет исходный порядок элементов (первый встреченный объект остаётся).

Минусы:

• Чуть медленнее на больших данных (нужно создать группы).
• Код чуть многословнее, чем хотелось бы.

Способ 2. MoreLinq и DistinctBy (элегантность)

Если вы не боитесь сторонних библиотек, то MoreLinq предлагает идеальный метод DistinctBy. Он делает ровно то, что вы ожидаете от Distinct — фильтрует по свойству.

Установка через NuGet:

Install-Package MoreLinq

Использование:

using MoreLinq;

var uniqueByEmail = clients.DistinctBy(c => c.Email).ToList();

Одна строка — и всё готово. Внутри DistinctBy использует HashSet и работает за O(n).

Плюсы:

• Крайне лаконичный и читаемый код.
• Высокая производительность.
• Библиотека хорошо протестирована (более 10 млн загрузок).

Минусы:

• Нужно добавлять зависимость в проект.
• Не все команды разрешают сторонние библиотеки.

Способ 3. Свой IEqualityComparer (максимальный контроль)

Этот метод подходит, когда вы не хотите тянуть библиотеку, но хотите переиспользовать логику сравнения в нескольких местах. Создаём свой компаратор:

public class ClientEmailComparer : IEqualityComparer<Client>
{
    public bool Equals(Client x, Client y)
    {
        if (ReferenceEquals(x, y)) return true;
        if (x is null || y is null) return false;
        return x.Email == y.Email;
    }

    public int GetHashCode(Client obj)
    {
        return obj.Email?.GetHashCode() ?? 0;
    }
}

Использование:

var comparer = new ClientEmailComparer();
var uniqueByEmail = clients.Distinct(comparer).ToList();

Плюсы:

• Полный контроль над логикой сравнения.
• Компаратор можно переиспользовать в Contains, Except, Union и т.д.
• Не требует внешних библиотек.

Минусы:

• Много шаблонного кода.
• Легко ошибиться в GetHashCode (если он неправильный, Distinct будет работать некорректно).

Сравнение производительности и выбор метода

Я протестировал все 3 способа на списке из 100 000 объектов (50 000 уникальных email):

Рекомендация:

• Для небольших коллекций (до 1000 элементов) — GroupBy (простота важнее).
• Для больших данных или production-кода — MoreLinq (скорость и читаемость).
• Если библиотеки под запретом — IEqualityComparer (но пишите аккуратно).

Частые ошибки и подводные камни

Ошибка 1: Забыть про null

Если свойство может быть null, ваш код упадёт с NullReferenceException. В компараторе и в GroupBy всегда проверяйте на null.

// Плохо:
GroupBy(c => c.Email.Length) // упадёт, если Email == null

// Хорошо:
GroupBy(c => c.Email?.Length ?? 0)

Ошибка 2: Неправильный GetHashCode

Если GetHashCode возвращает константу (например, 0), Distinct будет работать, но очень медленно — все объекты попадут в одну корзину HashSet.

Ошибка 3: Сравнение по нескольким полям

Если вам нужно Distinct по комбинации полей (например, Email + Name), просто передайте анонимный тип в GroupBy:

var unique = clients
    .