Как получить единообразное байтовое представление строки в C# без ручного указания кодировки?

Правильный ответ: используйте UTF-8 без BOM

Лучший и самый надёжный способ получить единообразное байтовое представление строки в C# — это использовать UTF-8 без BOM (Byte Order Mark). Этот подход работает одинаково на всех платформах и не требует ручного указания кодировки при каждом преобразовании.

Вот как это сделать правильно:

using System.Text;

string message = "Привет, мир!";

// Самый простой способ — использовать Encoding.UTF8
byte[] bytes = Encoding.UTF8.GetBytes(message);

// Или создать кодировку без BOM явно (на случай, если нужна строгая гарантия)
Encoding utf8WithoutBom = new UTF8Encoding(encoderShouldEmitUTF8Identifier: false);
byte[] bytesSafe = utf8WithoutBom.GetBytes(message);

// Обратное преобразование
string restored = Encoding.UTF8.GetString(bytes);

Console.WriteLine($"Исходная строка: {message}");
Console.WriteLine($"Восстановленная: {restored}");
Console.WriteLine($"Длина байтов: {bytes.Length}");

Почему именно UTF-8?

• Стандарт де-факто — UTF-8 поддерживается везде: в сетевых протоколах, базах данных, файловых системах и API.
• Обратная совместимость с ASCII — все ASCII-символы (первые 128) кодируются одним байтом, как в ASCII.
• Без BOM — BOM (0xEF, 0xBB, 0xBF) может вызывать проблемы при разборе данных. Encoding.UTF8 в .NET по умолчанию не добавляет BOM при вызове GetBytes().
• Кроссплатформенность — результат будет одинаковым на Windows, Linux и macOS.

Чего следует избегать?

• Encoding.Default — зависит от системной локали, ненадёжен.
• Encoding.ASCII — теряет все символы вне ASCII (кириллица, иероглифы и т.д.).
• Encoding.Unicode (UTF-16) — использует 2 байта на символ, может добавлять BOM, неэффективен для текста с преобладанием ASCII.
• Encoding.UTF32 — 4 байта на символ, избыточно.

Для хэширования и сравнения

Если вы вычисляете хэш строки (например, SHA256), всегда используйте UTF-8:

using System.Security.Cryptography;

string data = "Важные данные";
byte[] dataBytes = Encoding.UTF8.GetBytes(data);

byte[] hash = SHA256.HashData(dataBytes);
Console.WriteLine(Convert.ToHexString(hash)); // Всегда одинаковый результат

Совет для профессионалов

Создайте статическое поле с кодировкой, чтобы не создавать её каждый раз:

public static class StringExtensions
{
    private static readonly Encoding Utf8NoBom = new UTF8Encoding(false);
    
    public static byte[] ToUtf8Bytes(this string str) => 
        Utf8NoBom.GetBytes(str);
    
    public static string FromUtf8Bytes(this byte[] bytes) => 
        Utf8NoBom.GetString(bytes);
}

// Использование:
byte[] bytes = "Привет".ToUtf8Bytes();
string text = bytes.FromUtf8Bytes();

Запомните простое правило: всегда используйте Encoding.UTF8 для преобразования строк в байты и обратно. Это стандарт, который понимают все современные системы.

// Создаём UTF-8 без BOM и с выбрасыванием исключения на недопустимых символах
Encoding strictUtf8 = new UTF8Encoding(
    encoderShouldEmitUTF8Identifier: false,  // без BOM
    throwOnInvalidBytes: true                // строгий режим
);

string text = "Hello, 世界!";
try
{
    byte[] bytes = strictUtf8.GetBytes(text);
    Console.WriteLine($"Успешно: {bytes.Length} байт");
}
catch (EncoderFallbackException ex)
{
    Console.WriteLine($"Ошибка кодирования: {ex.Message}");
}