std::wstring против std::string: когда использовать Unicode и многобайтовые строки в C++?

Основное различие: ширина символа

std::string хранит символы как char (обычно 1 байт), а std::wstring — как wchar_t (обычно 2 или 4 байта в зависимости от платформы). Из-за этого std::string не может корректно работать с символами Unicode, которые занимают больше 1 байта (например, кириллица, иероглифы, эмодзи).

В вашем примере str.length() возвращает количество байт, а не символов. Русские буквы в UTF-8 кодируются двумя байтами, поэтому длина строки "Привет, мир!" будет больше, чем количество символов.

Когда использовать std::string?

• Стандартная работа с текстом — ввод/вывод, работа с файлами, сетевое взаимодействие. Большинство современных библиотек и API используют UTF-8.
• Кроссплатформенность — std::string с UTF-8 работает одинаково на всех платформах.
• Производительность — std::string занимает меньше памяти и быстрее обрабатывается.
• Совместимость с C-функциями — многие старые библиотеки ожидают const char*.

Когда использовать std::wstring?

• Работа с Windows API — многие функции Windows (особенно старые) используют UTF-16 (2 байта на символ) через wchar_t.
• GUI-фреймворки — например, Qt, wxWidgets, MFC часто работают с широкими строками.
• Работа с фиксированной шириной символа — если вам нужно гарантировать, что каждый символ занимает одинаковое количество байт (но это не работает для суррогатных пар в UTF-16).

Современный подход: используйте std::string с UTF-8

В C++11 и новее рекомендуется использовать std::string с кодировкой UTF-8. Это даёт максимальную совместимость и производительность. Для работы с Unicode используйте библиотеки типа icu или встроенные возможности C++:

#include <iostream>
#include <string>
#include <codecvt> // устарел в C++17, но пока работает

int main() {
    // UTF-8 строка
    std::string utf8_str = u8"Привет, мир! 🌍";
    
    // Конвертация в UTF-16 (wstring)
    std::wstring_convert<std::codecvt_utf8_utf16<wchar_t>> converter;
    std::wstring utf16_str = converter.from_bytes(utf8_str);
    
    // Обратная конвертация
    std::string back_to_utf8 = converter.to_bytes(utf16_str);
    
    std::cout << "UTF-8: " << utf8_str << std::endl;
    std::wcout << L"UTF-16: " << utf16_str << std::endl;
    
    // Правильный подсчёт символов (требуется библиотека ICU)
    // std::string::length() возвращает байты!
    std::cout << "Bytes in string: " << utf8_str.length() << std::endl;
}

Практические рекомендации

1. Для новых проектов — используйте std::string с UTF-8. Это современный стандарт де-факто.
2. Для Windows-специфичного кода — используйте std::wstring при работе с WinAPI, но конвертируйте обратно в UTF-8 для внутреннего хранения.
3. Избегайте смешивания — не храните данные в разных кодировках без явной конвертации.
4. Для работы с Unicode — используйте библиотеку ICU (International Components for Unicode) или её обёртки.

Важные замечания

std::wstring не решает всех проблем Unicode. В UTF-16 (которую использует Windows) символы за пределами Basic Multilingual Plane (например, эмодзи) кодируются двумя 16-битными единицами (суррогатными парами). Поэтому wstring.length() тоже может не совпадать с количеством символов. Единственный тип, который гарантирует фиксированную ширину символа — std::u32string (UTF-32), но он редко используется из-за большого размера.

#include <iostream>
#include <string>

int main() {
    std::u8string utf8_str = u8"Привет, мир!";
    
    // Вывод через cout (требуется явное приведение)
    std::cout << reinterpret_cast<const char*>(utf8_str.data()) << std::endl;
    
    // Длина в байтах
    std::cout << "Bytes: " << utf8_str.length() << std::endl;
}