Язык и текст

Раздел о кодовых точках, байтовых представлениях, обозначениях UTF-32LE и UTF-16LE и перечне невидимых символов UnVis32.

  1. Невидимые символы и границы строк в текстовом конвейере

    Как отличать управляющие, пробельные и форматные символы в текстовом конвейере, как задавать грамматику переносов строк и почему сохранённый диапазон UnVis32 не заменяет универсальный классификатор невидимости.

  2. Сравнение текстов: нормализация, регистр и транслитерация

    Разграничение нормализации Unicode, обработки регистра и транслитерации при сравнении текстов, с конкретным примером парных символов и указанием на необходимость явной политики сравнения.

  3. Кодировочные точки, единицы, байты и видимые символы

    Разграничение кодировочных точек, единиц кодирования, байтов и видимых символов с вычисленными примерами для UTF-16 и UTF-32.

  4. Четыре байта на скалярный код: чтение UTF-32LE

    Как устроено фиксированное 32-битное хранение UTF-32LE, почему порядок байтов не равен развороту десятичной записи и как прочитать кодовую точку из четырёх байтов, а также где заканчивается применимость формулы «четыре байта на символ».

  5. Список невидимых символов UnVis32: диапазон 01h–1Fh и его пределы

    Что содержит диапазон 01h–1Fh в UTF-32, почему он не охватывает все управляющие символы и как выбирать политику фильтрации без потери значимых управляющих знаков.