Как получить согласованное байтовое представление строки в C# без явного указания кодировки?

Краткий ответ: нет универсального способа без указания кодировки

Вы правы, что строки в C# внутренне хранятся в Unicode (UTF-16). Но при преобразовании в байты всегда нужно указывать кодировку, потому что байтовое представление зависит от того, как вы хотите интерпретировать символы. Метод text.ToBytes() не существует именно потому, что нет "единственно правильного" способа сериализовать строку в байты.

Почему Encoding.Default — плохая идея?

Encoding.Default возвращает системную кодировку ANSI (например, Windows-1251 на русской Windows, но Latin-1 на английской). На Linux это обычно UTF-8. Использование этой кодировки делает ваш код непереносимым. Пример:

// На русской Windows:
Encoding.Default.GetBytes("Привет"); // → [207, 240, ...] (Windows-1251)

// На английской Windows:
Encoding.Default.GetBytes("Привет"); // → [63, 63, ...] (Latin-1, '?' для неподдерживаемых символов)

Правильное решение: всегда явно указывать UTF-8

UTF-8 — это стандарт де-факто для обмена данными в современных приложениях. Он поддерживает все символы Юникода и обратно совместим с ASCII. Вот правильный подход:

using System.Text;

public static class StringExtensions
{
    public static byte[] ToUtf8Bytes(this string text)
    {
        return Encoding.UTF8.GetBytes(text);
    }

    public static string FromUtf8Bytes(this byte[] bytes)
    {
        return Encoding.UTF8.GetString(bytes);
    }
}

// Использование:
string original = "Привет, мир! 🌍";
byte[] bytes = original.ToUtf8Bytes(); // 20 байт (с эмодзи)
string restored = bytes.FromUtf8Bytes();
Console.WriteLine(original == restored); // True

Почему нельзя создать универсальный метод?

• Разные цели: для отправки по HTTP нужен UTF-8, для старого протокола — ASCII, для бинарных форматов — UTF-16LE (как в .NET).
• Производительность: явное указание позволяет оптимизировать (например, использовать пулы кодировок).
• Безопасность: скрытая кодировка может привести к багам, которые трудно отладить.

Лучшая практика для вашего случая

1. Создайте статический класс с методами-расширениями, как показано выше.
2. Используйте Encoding.UTF8 везде, где не требуется обратная совместимость.
3. Для сетевого взаимодействия добавьте указание кодировки в протокол (например, заголовок Content-Type: text/plain; charset=utf-8).

Запомните главное правило: строка — это абстракция, байты — это конкретное представление. Выбор кодировки — это часть контракта вашего приложения, поэтому он должен быть явным.

using System;
using System.Text;

public static class SpanExtensions
{
    public static byte[] ToUtf8Bytes(this string text)
    {
        // Вычисляем максимальный размер в байтах (UTF-8: до 4 байт на символ)
        int maxByteCount = Encoding.UTF8.GetMaxByteCount(text.Length);
        byte[] buffer = new byte[maxByteCount];
        
        // Кодируем в существующий массив
        int actualLength = Encoding.UTF8.GetBytes(text.AsSpan(), buffer);
        
        // Обрезаем до реального размера
        return buffer[..actualLength];
    }
}

// Использование:
string text = "Hello, 世界!";
byte[] bytes = text.ToUtf8Bytes();
Console.WriteLine(bytes.Length); // 14 байт