Гении или генИИ? Или как работать с документами, если есть подозрение на искусственный интеллект

Эпиграф:

«Здравствуйте, уважаемый Антиплагиат! Пишет Вам проректор по учебной и научной работе одного из вузов. Помнится, Вы очень расхваливали вашу систему. Решила задать вопрос. У меня три крайние проверки показывают уровень оригинальности 96–97%, и никаких признаков обмана системы не выявлено. Как же такое может быть? Студенты-гении?»

Из обращения пользователя по вопросу работы алгоритмов системы

Странное это явление — научно-технический прогресс. Вот вошло в нашу жизнь электричество — и свечи стали символом домашнего тепла, уюта и романтики. Станки на заводах заменили рабочего — и ручной труд стал цениться высоко, а вещи, созданные руками человека, превратились в роскошь и предмет восхищения.

Ещё так недавно увидеть высокий процент оригинальности в системе «Антиплагиат» было желанным для многих авторов. Но вот в нашу жизнь вошёл искусственный интеллект — и 96% «оригинальности» уже стали поводом для сомнений.

Давайте попробуем разобраться, как выстроить системную работу с документами, в которых эксперт (проверяющий) подозревает применение генеративного искусственного интеллекта.

«Как вы лодку назовете, так она и поплывет»

Прежде чем браться за проверку, неплохо бы определить своё отношение к генеративному искусственному интеллекту и его месту в процессе подготовки специалистов в высших учебных заведениях. Ведь совершенно очевидно, что филолог, психолог или педагог не так уж и нуждается в генеративном ИИ для написания текстов. А человек, который планирует сделать компьютерные технологии основной сферой своих профессиональных интересов, просто вынужден изучать искусственный интеллект и его применение в разных областях нашей непростой жизни.

С чего тут начать? Наверное, с регламентов и локальных нормативных актов, в которых позиция вуза будет прописана однозначно: разрешить / разрешить с ограничениями / запретить. Если разрешить — то как контролировать? Если запретить, то как контролировать, и кто несёт ответственность (автор, научный руководитель, вуз…)? Здесь вопрос ответственности и контроля очень важен.

“Тонко и точно продумана этика Всякого крупного кровопролитья: Чистые руки — у теоретика, Чистая совесть — у исполнителя.”

И. М. Губерман

После того как мы определились с отношением к использованию генеративного ИИ в учебных и научных текстах, необходимо решить вопрос самостоятельности написания и авторского вклада. Это основное требование научного стиля, норма академического письма, которую пока никто не отменял. На данный момент большинство вузов и научных организаций определились с тем, как можно использовать средства генеративного искусственного интеллекта при написании текста: автор должен задекларировать применение ИИ, сообщить модель, которую он использовал, и цель, которую преследовал. Некоторые просят оценить полученный результат и пользу от СГИИ. И практически всё академическое сообщество согласно с тем, что автор должен взять на себя все риски и ответственность за использование генеративного искусственного интеллекта при написании научного текста.

Dura lex, sed lex (лат. Закон суров, но это закон)

Если контроль так важен, необходим инструмент, с помощью которого можно оценить и вклад автора в науку, и самостоятельность написания, и этичность, и уважение к авторскому праву. Таким инструментом является система «Антиплагиат». «Антиплагиат» был первым, кто внедрил в работу детектор искусственно сгенерированных текстов. И хотя объективно доказать, что автор использовал СГИИ при написании текста, невозможно — ведь такой текст искусно маскируется под

написанный человеком, — детектор должен помогать проверяющему в анализе и «высвечивать проблемные фрагменты» машинной генерации.

Справляется ли с этой задачей система? На мой профессиональный взгляд — справляется. Почему я так считаю? Судите сами.

1. При проверке появляется отметка «Подозрительный документ» и происходит расчёт ИИ-контента. Это в том случае, если текст очень слабый: ошибки, повторы, несуразица, одним словом.
2. Формируется отчёт, который можно распечатать и в котором маркером розового цвета отмечены фрагменты, требующие анализа. Но тут скажем прямо: если появилась пометка «Внимание, документ подозрительный», то анализом фрагментов не обойтись. Текст придётся вычитывать. И не важно, к какому жанру он относится: ВКР, научная статья, диссертация и пр.
3. Система рассчитывает процентное соотношение, и, как ни странно, процент оригинальности и процент самоцитирования являются маркерами, которые позволят проверяющему понять, что с документом явно что-то не так, даже если система не выдала отметку «подозрительности».

Почему так может произойти? «Антиплагиат» — это эффективный инструмент, но всё-таки инструмент, и он не совершенен. Нейросети сейчас на пике популярности. Все торопятся овладеть новыми технологиями, отказаться от человека в пользу технологий, экономить, креативить, обгонять других и зарабатывать деньги. Поэтому нейросети развиваются очень быстро. Антиплагиатные системы «отстают» в этой гонке, чем и пользуются недобросовестные авторы.

Если системе недостаточно маркеров, позволяющих сделать вывод о том, что текст предположительно был написан с помощью генИИ, то процент оригинальности и самоцитирования система рассчитывает довольно точно. И вот тут, именно в этот момент, на сцене должен появиться ЭКСПЕРТ.

“Нужно сперва ввязаться в бой, а там видно будет”

Наполеон Бонапарт

Что же необходимо делать проверяющему, если перед ним лежит работа с высоким процентом оригинальности и у него есть подозрение, что этот высокий процент получен именно потому, что автор использовал генИИ для написания или перефразировки текста?

Шаг 1 — перейти в отчёт «Подозрительный документ» и убедиться, что система отметила определённые фрагменты текста как машинно сгенерированные.

Шаг 2 — заглянуть в соответствующий раздел документа (например, «Введение» или «Материалы и методы») и проверить, задекларировал ли автор использование СГИИ (цели использования, модель и пр.). Если использование СГИИ задекларировано, продолжить работать с текстом. Здесь важно ответить на два вопроса:

• Соответствует ли текст требованиям академического письма, предъявляемым к жанру документа, который проверяется на объём заимствований с использованием специализированного ПО?
• Не нарушает ли автор нормы академической этики, применяя СГИИ?

Если СГИИ применяется этично, с научными целями и без подмены авторства, можно снять отметку подозрительности и продолжить работать с источниками, анализируя совпадения на корректность и правомерность.

Шаг 3 — если использование СГИИ не задекларировано, проверяющий должен ознакомиться с текстом и убедиться, что это не случай ложноположительного срабатывания алгоритмов. Если текст слабый и не отвечает требованиям академического письма, проверяющий может вернуть работу автору на доработку. Главное — разъяснить автору, почему текст с высоким процентом «оригинальности» не прошёл проверку на объём текстовых заимствований.

“Всё тайное когда-нибудь становится явным, даже если поначалу о нём не подозреваешь”

Харуки Мураками

А что делать, если отметки о подозрительности при проверке не появилось, а процент «оригинальности» в системе достигает 97–98%? Как тут быть проверяющему? И вообще, можно ли говорить о том, что система отработала некорректно?

Безусловно, технический сбой возможен. Но возможно также, что автор имел намерение скрыть источники совпадения и использовал СГИИ для перефразировки текста. Такое намерение сложно назвать этичным. Поэтому проверяющему необходимо обратить внимание на следующее.

• Жанр документа. Если на проверке ВКР или диссертация, то процент оригинальности просто по определению не может быть запредельно высоким, потому что в тексте должны быть цитаты (ВКР) или самоцитирование (диссертация). Если показатели «Цитирования» и «Самоцитирования» равны нулю, мы вправе предположить, что с работой что-то не так.
• Библиографический список. Если при включённой библиографии список использованной литературы чист как снег — тут стоит задуматься. А если в списке литературы есть неточные или неполные ссылки на источники, или авторы указаны с ошибками — это уже повод задать автору вопросы.
• Ссылки на источники в тексте документа. Если есть сомнения, что ссылки указывают на реальные источники совпадений, снова обращаемся за разъяснениями к автору.
• Текст. Если текст носит описательный характер без конкретики, расчётов, предложений автора, мы вправе вернуть работу автору на доработку, потому что она не соответствует принципам академического письма. И процент «оригинальности» здесь никакого значения не имеет, ибо это технический, а не качественный показатель.

В заключение хочется выразить надежду, что внедрение СГИИ поможет изменить систему контроля в целом. Возможно, пора отказаться от написания выпускных квалификационных работ и перейти на другие формы экзаменационных испытаний: проектную работу, устные ответы, творческие задания. Это вернёт интерес к обучению и поможет творческой мысли использовать прикладные инструменты, каковым является генИИ, по прямому назначению.