Антиплагиат улучшил распознавание границ и степени выраженности сгенерированного текста

В отчёте появились категории: сильные, умеренные и слабые признаки ИИ, а также «признаки ИИ не обнаружены»

Повышение качества распознавания сгенерированного текста — одна из ключевых задач, над которой ежедневно работает команда технологий системы «Антиплагиат». Для нас важно максимально точно показывать пользователям, в каких участках текста и в каком объеме мог быть использован ИИ.

Единого процента признаков ИИ-генерации не всегда достаточно, чтобы оценить текст. Например, если автор использовал нейросеть для редактирования отдельных фрагментов, важно видеть не только общий показатель, но и конкретные участки текста, в которых могли применяться ИИ-инструменты.

Также сами сценарии применения ИИ в работах могут быть разными. В одних случаях текст может быть сгенерирован и вставлен без изменений, в других — нейросети использовались для структурирования информации или подготовки черновика, а затем автор самостоятельно редактировал и адаптировал материал. Бывают и ситуации, когда отдельные формулировки авторского текста совпадают с характерными для ИИ паттернами, но не свидетельствуют о генерации.

❗️ Допустимость различных сценариев применения нейросетей определяют вузы самостоятельно. Ознакомиться с политикой вузов в области нейросетей можно в открытой библиотеке ИИ-регламентов.

Как мы решаем эту задачу: обновление системы

5 ноября в системе «Антиплагиат» добавятся и обновятся ключевые инструменты работы с ИИ-генерацией. Пользователи получат более подробную информацию о том, в каких фрагментах текста обнаружены признаки ИИ и насколько сильно они выражены.

Первое. Станет доступна новая версия ИИ-детектора. Мы улучшили распознавание границ человеческого и сгенерированного текста, поэтому разметка проверяемых работ станет более подробной и точной. Например, небольшие ИИ-вставки внутри авторского текста. Система ювелирно определяет границы таких фрагментов и отделяет их от фрагментов без признаков ИИ-генерации.

❗️ Детектор стал точнее: в работах, написанных людьми, доля ложных отметок снизилась с 0,18% → 0,14%. А в текстах, целиком созданных ИИ, детектор корректно размечает 96% текста вместо 90%.

Обновление детектора может повлиять на общий процент признаков ИИ-генерации в тексте.

У пользователей появится возможность вручную исключать отдельные фрагменты текста из результатов проверки и влиять таким образом на итоговый процент. Пометка об изменениях при этом сохранится в итоговом отчёте и печатных формах.

Второе. Более подробная градация признаков ИИ. Теперь при проверке система покажет в тексте одну из четырех отметок: сильные, умеренные и слабые признаки ИИ, а также «признаки ИИ не обнаружены».

Что означают эти показатели

1. Сильные признаки ИИ: алгоритмы системы обнаружили устойчивые шаблоны и паттерны генерации. С большей долей вероятности текст был создан или сильно модифицирован через нейросети. Такие фрагменты выделяются ярким фиолетовым цветом.
2. Умеренные признаки ИИ: алгоритмы сигнализируют, что в тексте обнаружены сигналы, которые могут указывать на использование нейросети с последующей ручной редактурой. Выделяются светло-фиолетовым цветом.
3. Слабые признаки ИИ: система обнаружила единичные совпадения с паттернами машинной генерации. Выделяются полупрозрачным фиолетовым цветом.
4. Признаки ИИ не обнаружены: алгоритмы не нашли паттерны ИИ-генерации в фрагменте текста. Не выделяется цветом, остается белым.

Новый показатель в отчете по признакам ИИ-генерации — выраженность признаков ИИ

Как новые показатели влияют на итоговый процент признаков ИИ-генерации

В итоговый показатель признаков ИИ-генерации включаются только фрагменты с сильными признаками ИИ. Умеренные и слабые признаки отображаются отдельно и не увеличивают общий процент.

В итоговый процент в отчете включаются только сильные признаки ИИ-генерации

Пользователи могут переключаться между категориями и отдельно просматривать фрагменты с сильными, умеренными и слабыми признаками ИИ.

Система подсветить признаки ИИ-генерации в тексте фиолетовым: чем сильнее признак, тем ярче текст

После обновления система умеет выделять умеренные и слабые признаки ИИ. Раньше такие фрагменты могли оставаться незаметными для пользователя, если сигналы генерации в них были недостаточно выраженными. Теперь они отдельно отображаются в отчёте и позволяют заметить и проанализировать отдельные предложения или небольшие фрагменты с признаками ИИ.

❗️ Новая разметка не меняет принцип расчета итогового процента: в него по-прежнему включаются только фрагменты с сильными признаками ИИ.

Умеренные и слабые признаки не влияют на общий показатель, но позволяют увидеть дополнительные особенности текста и подробнее разобраться в результатах проверки.

Точность определения границ между фрагментами с признаками ИИ-генерации и без них позволяет различать, в каких частях работы и в какой степени могли применяться нейросети. Это особенно важно, когда ИИ используется для решения отдельных задач — например, редактирования или доработки текста. Чем точнее система определяет такие фрагменты, тем объективнее пользователь может оценить результаты проверки.