Об ИИ-детекторах, рецензиях и травле. Дополнено

В конце января этого года я стал замечать, что вокруг моего имени на Прозе.ру происходит нечто странное. Нет, я не получил внезапного потока восторженных рецензий, меня не предлагали напечатать в Альманахе «Писатель года» или объявить почётным членом Клуба «Слава Фонда».

Зато появились люди, которые начали активно и настойчиво обсуждать моё творчество в негативном ключе. Всё началось с серии публикаций «Я, Мы и ИИ» Лары Кудряшовой. Всем моим текстам приписали «признаки нейросетевого происхождения», ссылаясь на результаты различных ИИ-чекеров, несмотря на то что сами разработчики подобных систем неоднократно предупреждали об их ограниченности и большом количестве ложных срабатываний (подробнее смотри приложение).

Лара и Ко предложили мне «исправить» тексты так, чтобы они выглядели  «человеческими» с точки зрения ИИ-детекторов. Сама эта формулировка этой «просьбы» кажется мне довольно тревожной. Получается, автор должен писать не так, как чувствует, а так, как это понравится статистическому алгоритму.

Об ИИ-детекторах я знал и раньше и никогда не относился к ним всерьёз. Достаточно задать простой вопрос: если бы человек действительно пользовался ИИ, что мешало бы ему сразу попросить писать так, чтобы «чекеры» ничего не обнаружили?

Существует немало исследований, которые прямо указывают: ИИ-детекторы часто дают ложные срабатывания — особенно на хорошо написанные, стилизованные, литературные тексты. Они не анализируют смысл, а работают с частотами слов, длиной предложений, статистическими шаблонами. Именно поэтому под подозрение регулярно попадают переводы, отредактированные тексты, художественная проза.

Сами разработчики подобных инструментов говорят что детекторы не могут служить доказательством авторства, они всего лишь показывают вероятность.

К сожалению, это не остановило дальнейшее развитие ситуации. В обсуждениях и комментариях я узнал про себя такое, о чём никогда бы не догадался. Совершенно не зная меня, эти люди называли меня «жуликом», «бездарем», «манипулятором» и «лжецом». Я собрал, по их словам, «курятник» (мои избранные авторы). Кончалось всё тем, что эта компания объявила против меня и моего «кривого писательства» открытую борьбу.

И началось. Появились рецензии с оскорблениями, пасквили, «иронические» стихи. Моим читателям писали обо мне гадости, «открывали им глаза», предлагали проверять мои тексты на «чекерах».

Что ж, я поднял брошенную перчатку и обо всех нарушениях сообщал администрации Прозы. Естественно, модераторы удаляли комментарии и публикации, содержащие откровенную ложь, травлю и оскорбления.

Со временем внимание переключилось и на мои рецензии. Они показались кому-то слишком подробными, слишком быстрыми, «подозрительно» связными. Делался вывод: значит, их пишет не автор, а ИИ.

Здесь я позволю себе простое объяснение. Из-за постоянной работы за компьютером у меня сильно устают глаза, и иногда я сознательно ограничиваю экранное время. Несколько месяцев назад я начал пользоваться обычным приложением speech-to-text: я наговариваю отзыв голосом, а программа переводит его в текст. Этим давно пользуются журналисты, врачи, адвокаты — ничего экзотического здесь нет.

Если подобный текст кому-то кажется «слишком гладким», я это понимаю. Но это всё та же моя речь, мои слова, мои интонации — просто зафиксированные другим способом.

Интересно и другое. Раньше некоторые мои рецензии действительно помечались подобными сервисами как «сгенерированные». Со временем я заметил, что причиной часто становятся определённые речевые конструкции, слишком ровный синтаксис или повторяющиеся способы построения фраз.

Я сознательно убрал часть подобных оборотов — и результаты проверок резко изменились: те же самые по сути тексты начали определяться как «написанные человеком».

На мой взгляд, это ещё раз показывает ограниченность подобных систем. Они оценивают не авторство текста и не человеческую мысль, а набор статистических признаков и внешних языковых шаблонов.

Я также понимаю, что подобные ситуации редко заканчиваются быстро. Кому-то нужны эмоции, столкновения, продолжение конфликта. Но в моих действиях нет ничего против правил — ни в том, как я пишу тексты, ни в том, как читаю и комментирую чужие.

Парадокс ситуации заключается ещё и в том, что современные нейросети уже умеют писать тексты, практически не определяемые большинством чекеров. При этом под подозрение всё чаще попадают именно живые литературные тексты — особенно тщательно отредактированные или стилистически необычные.

Поэтому превращать вероятностные ИИ-детекторы в инструмент публичных обвинений и травли авторов — по меньшей мере безответственно.

***

Приложение

P.S. Для тех, кому важно разобраться в вопросе

О ненадёжности ИИ-детекторов и большом количестве ложных срабатываний существует немало открытых исследований и официальных заявлений — в том числе со стороны самих разработчиков.

Некоторые внешние ссылки на Прозе.ру могут отображаться некорректно или быть недоступны в отдельных странах и браузерах. В таком случае достаточно скопировать название статьи или исследования в поисковую систему — большинство материалов легко находится по названию.

Многие браузеры также позволяют автоматически переводить страницы на русский язык.

***

Источники и исследования о ненадёжности ИИ-детекторов

1. OpenAI закрыла собственный AI Text Classifier

Компания OpenAI признала низкую точность собственного ИИ-детектора и отключила его.

Статья:
“OpenAI shuts down AI classifier due to low rate of accuracy” — Ars Technica

Основная мысль:
«Классификатор был отключён из-за низкой точности.»

***

2. Википедия — обзор проблемы ИИ-детекторов

Очень хороший обзор проблемы с примерами ложных срабатываний, критикой детекторов и ссылками на исследования.

English:
https://en.wikipedia.org/wiki/AI-generated_text_detection

Русская версия:

В статье описаны:

* ложные срабатывания;
* проблемы художественных текстов;
* ошибки в отношении не-носителей языка;
* критика ИИ-детекторов в академической среде.

***

3. DetectGPT — исследование Stanford / Princeton

Исследование:
“DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature”

https://arxiv.org/abs/2301.11305

Исследование показывает:

* детекция ИИ-текста носит вероятностный характер;
* хорошо отредактированные тексты серьёзно затрудняют работу детекторов;
* художественные тексты особенно плохо определяются подобными системами.

***

4. GPT Detectors Are Biased Against Non-Native Writers

Исследование:
“GPT Detectors Are Biased Against Non-Native English Writers”

https://arxiv.org/abs/2304.02819

Одно из самых важных исследований по теме.

Авторы пришли к выводу, что ИИ-детекторы значительно чаще ошибочно обвиняют:

* людей, для которых язык текста не является родным;
* авторов со сложной литературной стилизацией;
* тексты после редакторской обработки.

***

5. GPTZero и споры вокруг ИИ-детекторов

Статья:
“GPTZero” — Wikipedia

https://en.wikipedia.org/wiki/GPTZero

Даже вокруг одного из самых известных ИИ-детекторов регулярно возникают споры о ложных срабатываниях и ненадёжности результатов.

***

6. Turnitin и ложные срабатывания

Статья:
“AI writing detection update from Turnitin”

Turnitin признал:
«higher incidence of false positives» — повышенное количество ложных срабатываний.

Особенно это касается:

* творческих текстов;
* сильно отредактированных материалов;
* небольших фрагментов текста.

***

7. Реальные случаи ложных обвинений

Статья:
“The College Essay Is Dead” — The Atlantic

Статья:
“AI detectors sometimes flag human writing as AI-generated” — The Washington Post

Статья:
“Universities reconsider AI detection tools after false accusations” — The Guardian

В этих публикациях описываются реальные случаи, когда:

* тексты живых авторов ошибочно объявлялись «сгенерированными ИИ»;
* детекторы давали ложные результаты;
* преподаватели и университеты признавали ненадёжность подобных систем.


Важно понимать главное:

Даже сами разработчики ИИ-детекторов не считают их доказательством авторства текста. Это лишь вероятностные статистические модели, работающие по внешним языковым признакам.

Поэтому использование подобных сервисов как инструмента публичных обвинений, травли или «разоблачений» авторов представляется крайне сомнительным и безответственным.