Невидимый и переставленный текст: двунаправленные управляющие символы, теги и похожие знаки в коде и промптах

Цель

До слияния изменений или передачи модели выявлять фактические символы в тексте, который выглядит безобидным в средстве ревью или окне чата.

Предварительные условия

Доступ к исходному тексту (diff, промпту, загруженному документу) как к кодовым точкам, а не только к его отображению.

Шаги

1. Знайте три семейства:
   • Двунаправленные управляющие символы (например, символы встраивания, принудительного направления и изоляции U+202A–U+202E и U+2066–U+2069). Исследование Trojan Source показало, что они могут переставлять исходный код на экране так, что рецензент видит логику, отличающуюся от обрабатываемой компилятором.
   • Невидимые символы: пробел нулевой ширины и соединители, а также блок Unicode Tags (U+E0000–U+E007F), чьи символы соответствуют ASCII, но в большинстве интерфейсов никак не отображаются. Исследователи безопасности показали, что текст из символов-тегов может передавать инструкции модели, оставаясь невидимым для человека, который его вставляет.
   • Визуально похожие символы: знаки других письменностей, похожие на латинские буквы. Технический стандарт Unicode #39 определяет обнаружение таких сходств и проверку смешения письменностей именно для этого случая.
2. Добавьте проверку CI, которая завершается неуспешно при наличии двунаправленных управляющих символов в исходных файлах, если файл явно не включён в список разрешённых исключений (например, ресурсы переводов, которым нужны такие символы).
3. Прежде чем передавать модели загруженный или вставленный текст, удаляйте или помечайте символы-теги и символы нулевой ширины и записывайте факт этого в журнал.
4. Для идентификаторов, имён пакетов и доменов применяйте проверку смешения письменностей или визуального сходства по UTS #39, а не самодельный список.
5. В средствах ревью включите показ скрытых символов; многие редакторы и хостинги кода теперь предупреждают о двунаправленном тексте.
6. Сообщая о находке, показывайте кодовые точки (U+202E), а не сами символы, чтобы отчёт тоже не мог ввести в заблуждение.

Ожидаемый результат

Скрытые символы и символы, меняющие порядок, обнаруживаются автоматически; при ручном ревью видна явная отметка, а не вводящий в заблуждение текст.

Ограничения и основание проверки

Обычный текст справа налево и последовательности эмодзи используют некоторые из этих символов; безусловное удаление может повредить содержимое, поэтому ограничьте проверку кодом и текстом, предназначенным для модели. Разные инструменты отображают текст по-разному, поэтому «здесь всё выглядит нормально» ничего не доказывает.