Как распознать текст, написанный ИИ: пять признаков «слопа» без детектор-моделей

Автора статьи «Is This Slop?» Сэма Блэка забанили в сабреддите за «текст, написанный ИИ», при том что материал он опубликовал за два года до публичного запуска ChatGPT. Ложное срабатывание на живого человека не сбой конкретного модератора, а системная проблема: детекторы ИИ ловят «всё подряд» ради максимума пойманных, расплачиваясь чудовищным числом ошибок. Ниже разберём, как распознать текст, написанный ИИ, вручную, пять групп признаков, по которым ИИ-текст видно глазами, без единой детектор-модели. А в конце: честная математика того, почему стопроцентной уверенности не будет никогда.

Почему детекторам нельзя доверять

Автоматический детектор это классификатор с высокой полнотой (recall) и низкой точностью (precision). Проще говоря, он старается не пропустить ни одного ИИ-текста, поэтому вешает ярлык «сгенерировано» почти на всё, что похоже на аккуратную письменную речь. Отсюда лавина ложных обвинений.

Есть и этическая сторона. Исследование Лян и коллег из Стэнфорда (Liang et al., 2023) показало, что детекторы систематически чаще штрафуют тексты неносителей языка: ровный, «учебниковый» английский иностранного студента машина принимает за машинный. Для студента это грозит обвинением в списывании из-за самого факта, что он старательно писал по правилам. На наш взгляд, это и есть главный аргумент против слепого доверия «моделям-судьям»: навык чтения надёжнее и справедливее алгоритма.

Признак 1. Дело не в словах, а в их плотности

Самый известный маркер: слово delve («углубляться»). До ChatGPT это было редкое формальное слово; после запуска его частота в научных текстах выросла взрывообразно. Вместе с ним взлетели intricate (замысловатый), meticulous (дотошный), tapestry (гобелен, полотно), showcase, pivotal, underscore.

Это не догадка. Кобак и соавторы (Kobak et al., 2024) в работе «Delving into ChatGPT usage in academic writing through excess vocabulary» проанализировали около 15 миллионов аннотаций из базы PubMed за 2010-2024 годы. Метод они позаимствовали у эпидемиологов: «избыточная лексика» по аналогии с «избыточной смертностью»: берут ожидаемую частоту слова и сравнивают с реально наблюдаемой. С появлением языковых моделей произошёл резкий скачок «стилевых» слов.

Ключевой поворот в их данных: до языковых моделей избыточными оказывались существительные, привязанные к событиям времени, в пандемию это были «pandemic» и «lockdown». После: стилевые глаголы и прилагательные без привязки к теме: delves, showcasing, underscores. Смысл вытеснился стилем.

Важная оговорка: одно «delve» на страницу ничего не доказывает. Живые авторы тоже используют красивые слова. Сигнал это плотность: пять таких слов в одном абзаце, обязательный «tapestry» и «realm» рядом. Вот список маркеров из источника целиком: delve, boast, intricate, tapestry, realm, showcase, pivotal, underscore, meticulous, leverage, robust, seamless, testament, comprehensive, multifaceted, navigate, notably, interplay.

Для русского текста прямой перенос списка не работает, у ИИ-русского свои клише-кальки: «важно отметить», «стоит подчеркнуть», «играет ключевую роль», «неотъемлемая часть», «в современном мире», «богатая палитра». Если абзац собран из таких связок это тревожный флаг и первый повод задуматься, как распознать текст, написанный ИИ.

Признак 2. Риторика робота

Синтаксис выдаёт модель не хуже словаря. Характерные приёмы:

• Антитеза-штамп «Это не просто X это Y» («Это не просто инструмент это образ мышления»).
• «Правило трёх»: перечисления ровно из трёх однородных элементов, почти в каждом абзаце.
• Ровный ритм: предложения одинаковой длины, без резких коротких фраз.
• Ковёр из связок: «более того», «кроме того», «таким образом» в начале каждого второго предложения.
• Обязательная обобщающая концовка-мораль в конце любого раздела.

По отдельности всё это встречается и у людей. Но когда текст выстроен идеально симметрично, без единой шероховатости и с моралью в финале каждого абзаца, перед вами, скорее всего, генерация.

Признак 3. Длинное тире как визитка

Пунктуация: самый недооценённый признак ИИ-текста. ChatGPT обожает длинное тире (em-dash, «-») и ставит его там, где человек обошёлся бы запятой или скобками. Плюс типографские «кудрявые» кавычки вместо прямых и списки с жирными лид-инами в начале пунктов, ровно тот формат, который модель выдаёт по умолчанию. Если в неформальном тексте вдруг идеальная типографика и тире через каждые две строки это повод присмотреться.

Признак 4. Почему вы хуже детектора, чем думаете

Неприятная правда: люди распознают ИИ-текст на уровне чуть выше подбрасывания монеты. Мы переоцениваем свою интуицию и ловимся на двух ошибках сразу, принимаем аккуратный человеческий текст за машинный и наоборот. Именно поэтому автор источника настаивает: цель признаков не выдать вердикт, а сдвинуть вас «от случайной догадки к чуть лучше, чем монетка». Признаки повышают вероятность правильной оценки, но не дают уверенности.

Признак 5. Математика слопа

Откуда вообще берутся эти паттерны? Языковая модель при генерации минимизирует перплексию, грубо говоря, на каждом шаге выбирает высоковероятный, «сглаженный» токен. Результат: предсказуемый, ровный текст без неожиданных ходов.

Дальше вступает пост-тренинг с обучением на человеческих предпочтениях (RLHF). Люди-оценщики раз за разом отмечали ответы с «красивыми» словами как более удачные, «о, delve звучит солиднее». Модель усвоила это буквально: распределение вероятностей сузилось (эффект mode collapse), а масса сконцентрировалась на «любимых» словах. Вероятности токенов у LLM теперь измеримо отличаются от человеческих.

Это подтверждает эксперимент Юзека и Уорд (Juzek & Ward, «Why Does ChatGPT "Delve" So Much?»): они взяли реальные аннотации PubMed 2020-2024 и те же тексты, переписанные ChatGPT. В переписанной версии одни и те же слова резко участились значит, паттерн порождает именно модель, а не тема или эпоха.

У людей же выше «burstiness»: разброс предсказуемости между соседними предложениями: то простая фраза, то внезапно сложная. Именно на этой неровности построены инструменты вроде DetectGPT и GPTZero. Машина ровная, человек рваный.

Чек-лист: как распознать ИИ-текст за 60 секунд

Ни один пункт по отдельности не приговор. Вердикт складывается из совпадения нескольких сразу, и даже тогда это вероятность, а не факт.

Частые вопросы

Можно ли доверять онлайн-детекторам ИИ?

С осторожностью. Они дают много ложных срабатываний и, по данным Стэнфорда, чаще ошибаются на текстах неносителей языка. Как единственное доказательство: нет.

Правда ли, что длинное тире означает ChatGPT?

Само по себе: нет, многие пишут с тире осознанно. Это маркер только в связке с другими признаками и в неформальном тексте, где идеальная типографика выглядит неестественно.

Почему модели так любят слово delve?

Скорее всего из-за обучения на человеческих предпочтениях: оценщики отмечали ответы с такими словами как более удачные, и модель сместила вероятности в их сторону.

Как распознать текст, написанный ИИ, со стопроцентной уверенностью?

Никак. Максимум, на который стоит рассчитывать,: «чуть лучше, чем подбрасывание монеты». Признаки повышают точность оценки, но не заменяют её.

Если вам важно читать оригиналы исследований и заблокированные научные ресурсы без ограничений, доступ можно открыть через Sigma.

Источники

Towards Data Science, Sam Black, «Is This Slop? Detecting AI-Generated Content Without a Model»

arXiv, Kobak et al., «Delving into ChatGPT usage in academic writing through excess vocabulary»