Поиск и очистка невидимого текста

Этот инструмент бесплатен и помогает находить и удалять скрытые символы Unicode из текста. Модели AI, такие как ChatGPT, могут незаметно добавлять такие символы, как длинное тире или пробел нулевой ширины. С его помощью вы найдёте их и удалите ненужные.

Наш бесплатный инструмент находит и удаляет скрытые текстовые символы Unicode:

Этот инструмент помогает увидеть скрытые символы Unicode в тексте и удалить их — как выборочно, по определённым кодам, так и все сразу.

Как пользоваться инструментом:

1. Вставьте текст.

2. Просмотрите скрытые символы Unicode и узнайте, для чего они нужны.

3. Выберите, что очистить.

— Исправьте всё.

— Удалите все невидимые символы.

— Выберите только нужные символы (например, длинное или короткое тире).

4. Скопируйте очищенный текст.

Помните: если текст был создан языковой моделью, такой как ChatGPT, Claude или Gemini, при проверке в AI-детекторе Originality.ai он всё равно может быть отмечен как созданный AI.

Главное:

— Простая очистка — Наш бесплатный инструмент быстро находит и удаляет скрытые текстовые символы.

— Конфиденциальность сохранена — Всё обрабатывается в вашем браузере, поэтому текст остаётся на вашем устройстве.

— Это не водяные знаки — Скрытые символы добавляют большие языковые модели, такие как ChatGPT, но не для тайной маркировки.

— Избыток символов — ChatGPT часто использует несколько скрытых символов Unicode, например длинное тире.

— Реальные риски — Невидимый текст может привести к проблемам с безопасностью и форматированием.

— Детекторы работают — Детектирование AI эффективно, даже если удалить скрытые символы.

Все LLM содержат скрытые символы.

Что такое скрытые текстовые символы Unicode?

Скрытые символы Unicode — это уникальные кодовые точки, отличающиеся от обычного ASCII. Некоторые из них едва заметны, например длинные тире и типографские кавычки. Другие, такие как пробелы нулевой ширины и соединители, полностью невидимы. Эти символы работают как «цифровые чернила»: они меняют перенос строк, разделение слов и сопоставление текста в программах, часто оставаясь незаметными для вас.

ChatGPT скрывает водяные знаки в своём тексте?

Нет, это заблуждение. Некоторые считают, что ChatGPT добавляет в текст скрытые метки, но это не так. Есть две причины, по которым это крайне маловероятно.

1. Такие метки легко удалить. Если пользователи могут без труда от них избавиться, использовать их не имеет смысла.

2. OpenAI утверждает, что это всего лишь результат работы крупномасштабного обучения с подкреплением.

Добавляет ли ChatGPT скрытые символы?

Да, AI-модели, такие как ChatGPT, добавляют скрытые символы. Многие из них безвредны, например типографские знаки вроде длинных тире, но некоторые, такие как пробелы нулевой ширины, могут нарушить форматирование.

ChatGPT часто использует некоторые распространённые символы Unicode:

Длинное тире

Это длинное тире часто встречается в текстах ChatGPT — особенно в новых моделях (версиях o3, 4 o, 4.1) — для разделения предложений или создания драматических пауз.

Unicode: U+2014
Описание: длинное горизонтальное тире, шире дефиса. Оно полезно в типографике для обозначения пауз, но в коде, CSV или обычном тексте может выступать как нестандартный символ, вызывая проблемы при копировании, вставке или разборе данных.
Пример: word—word выглядит как word-word, но это другая кодовая точка Unicode.

Кудрявые кавычки, также называемые типографскими, — это фигурные кавычки, которые используются вместо обычных прямых. ChatGPT иногда применяет именно такие варианты.

В Unicode у них есть специальные коды:

— Левая двойная кавычка: U+201C

— Правая двойная кавычка: U+201D

— Левая одинарная кавычка: U+2018

— Правая одинарная кавычка: U+2019

Они имеют изогнутую форму и предназначены для печатного текста. Они появляются там, где прямые кавычки (например, » или ‘) могли бы быть уместнее, например в коде, CSV-файлах или Markdown. Например, вы можете увидеть “hello” или ‘world’.

Невидимый пробел

Этот символ скрывается в тексте и часто появляется при копировании из определённых редакторов, например ChatGPT.

— Unicode: U+200B

— Описание: Пробел не отображается, но разделяет символы. Это может повлиять на сопоставление строк, URL и подсчёт слов. Из-за этого могут возникнуть проблемы вроде «почему текст вставляется неправильно?»

— Пример: wordword ← выглядит как одно слово, но между ними есть невидимый пробел.

Почему LLM используют скрытые символы?

Есть три причины, по которым LLM чаще используют эти невидимые символы:

1. Смещение в обучающих данных: LLM обучаются на профессионально отредактированных текстах. В таких текстах часто встречаются длинные тире и типографские кавычки, поэтому LLM используют их чаще, чем в повседневной письменной речи.

2. Формальный тон: LLM обычно звучат формально и авторитетно, а эти символы помогают создавать такой тон.

3. Отсутствие ограничений клавиатуры: мы редко используем эти символы, потому что их нет на стандартных клавиатурах. LLM не печатают на клавиатуре, поэтому им легко использовать невидимые символы.

Невидимые символы: применение и проблемы

Зачем люди их используют?

1. Аккуратное расположение текста — пробел нулевой ширины или мягкий перенос помогает определить место разрыва строки и не даёт длинным словам неловко обрываться у поля.

2. «Пробелы» в именах пользователей — некоторые сайты не поддерживают обычные пробелы. С помощью невидимого символа Hangul Filler имена вроде John Doe остаются читаемыми, а правило «без пробелов» соблюдается.

3. Скрытые водяные знаки — издатели могут встроить в текст уникальный узор из символов нулевой ширины. Если текст попадёт в сеть, эти невидимые точки станут цифровым отпечатком.

Почему они вызывают беспокойство?

— Форматирование: выглядят одинаково, но работают по-разному. Два фрагмента, которые кажутся идентичными, могут по-разному хешироваться или сортироваться, если в них присутствуют скрытые символы. Это нарушает экспорт, поиск или ведение журналов аудита.

— Невидимые места для вредоносного кода: злоумышленники могут скрыть вредоносное ПО или секретные команды среди символов нулевой ширины. Файл будет работать, но при проверке человеком ничего необычного видно не будет.

— Тихие уловки для AI: скрытые символы Unicode могут незаметно добавить в запрос чат-боту дополнительные команды, заставив модель раскрыть данные или создать вредоносный контент.

— Ваш текст кажется созданным AI: если в тексте используется много уникальных элементов форматирования, часто встречающихся в материалах AI (например, длинных тире), становится очевидно, что он создан AI, а это может навредить репутации.

Помогает ли добавление или удаление невидимых символов обмануть AI-детекторы?

Нет, не помогает. Наш быстрый тест показал, что добавление или удаление скрытых символов не повлияло на то, насколько легко обнаружить контент, созданный AI. Мы создали два фрагмента контента с помощью AI и изменили их: добавили дополнительные скрытые символы, а затем удалили все символы Unicode с помощью бесплатного инструмента на этой странице.

В результате контент по-прежнему обнаруживался большинством инструментов независимо от наличия невидимых символов.

Вот результаты…