std::wstring против std::string: когда использовать Unicode, а когда ASCII в C++?

Ключевое различие: не Unicode vs ASCII, а фиксированная vs переменная ширина символа

Главное заблуждение — считать, что std::string это "только ASCII", а std::wstring — "Unicode". На самом деле:

• std::string — это std::basic_string<char>. Каждый элемент — 1 байт. Он может хранить любую кодировку: UTF-8, CP1251, ASCII и т.д. Содержимое не определяет кодировку.
• std::wstring — это std::basic_string<wchar_t>. Размер wchar_t зависит от платформы: 2 байта на Windows (UTF-16), 4 байта на Linux/ macOS (UTF-32).

Почему ваш код не работает на Windows?

Проблема в том, что на Windows многие системные API (включая файловые) ожидают UTF-16, а не UTF-8. Когда вы передаёте std::string с кириллицей в кодировке UTF-8, Windows интерпретирует её как ANSI (обычно CP1251 для русской локали). Результат — искажение имени файла.

На Linux системные API (POSIX) работают с char* строками, и если ваша система настроена на UTF-8 (что сейчас стандарт), то std::string с UTF-8 работает идеально.

Правильное решение: используйте UTF-8 везде, кроме вызовов Windows API

Современный C++ (C++20/23) рекомендует UTF-8 как внутреннее представление. Вот как это сделать правильно:

1. Внутреннее хранение — std::string с UTF-8

#include <string>
#include <fstream>
#include <codecvt>  // для конвертации (устарел, но пока работает)
#include <locale>

// Пример: конвертация UTF-8 в UTF-16 для Windows API
std::wstring utf8_to_utf16(const std::string& utf8) {
    std::wstring_convert<std::codecvt_utf8_utf16<wchar_t>> converter;
    return converter.from_bytes(utf8);
}

// Использование:
std::string filename_utf8 = "отчет.docx";
#ifdef _WIN32
    std::wstring filename_wide = utf8_to_utf16(filename_utf8);
    std::wifstream file(filename_wide);  // Windows: используем wifstream
#else
    std::ifstream file(filename_utf8);   // Linux: обычный ifstream
#endif

2. Вывод в консоль — отдельная проблема

На Windows консоль по умолчанию не понимает UTF-8. Решение (для Visual Studio):

#include <Windows.h>
#include <io.h>
#include <fcntl.h>

// В начале main():
#ifdef _WIN32
    SetConsoleOutputCP(CP_UTF8);  // Устанавливаем UTF-8 для консоли
    _setmode(_fileno(stdout), _O_U8TEXT);  // Режим UTF-8 для stdout
#endif

// Теперь std::cout с UTF-8 работает (но не всегда стабильно).
// Лучше использовать std::wcout с UTF-16:
std::wcout << L"Привет, мир!" << std::endl;

Best practices для современного C++

• Внутри программы: используйте std::string с UTF-8. Это стандарт де-факто для обмена данными (JSON, HTTP, файлы).
• На границе с ОС:
  • Windows: конвертируйте в UTF-16 (std::wstring) для вызовов API.
  • Linux: оставляйте UTF-8 (std::string).
• Избегайте std::wstring как основного типа — он не кроссплатформенный и создаёт проблемы с совместимостью.
• Для новых проектов рассмотрите std::u8string (C++20) — явный тип для UTF-8.

Почему не стоит использовать wstring везде?

1. Размер wchar_t разный — на Windows 2 байта (не хватает для всех Unicode символов), на Linux 4 байта (избыточно).
2. Медленная конвертация при каждом взаимодействии с внешним миром.
3. Проблемы с библиотеками — большинство C++ библиотек (Boost, Qt, POCO) работают с UTF-8 строками.

Итог: храните внутри std::string (UTF-8), конвертируйте только при вызове платформозависимых API. Это даёт кроссплатформенность и совместимость.

#include <boost/nowide/fstream.hpp>
#include <boost/nowide/iostream.hpp>

boost::nowide::ifstream file("отчет.docx");  // Работает на Windows и Linux
boost::nowide::cout << "Привет!" << std::endl;

#include <filesystem>
#include <fstream>

namespace fs = std::filesystem;

std::string filename = "отчет.docx";
fs::path p = fs::u8path(filename);  // Явно указываем UTF-8
std::ifstream file(p);  // Работает на обеих платформах

#include <tchar.h>
#include <string>

// В зависимости от _UNICODE макроса:
// - Если определён: TCHAR = wchar_t, std::tstring = std::wstring
// - Если нет: TCHAR = char, std::tstring = std::string
typedef std::basic_string<TCHAR> tstring;

tstring filename = _T("отчет.docx");