Об ИИ детекторах, рецензиях и травле

В конце января этого года я стал замечать, что вокруг моего имени на Прозе происходит нечто странное. Нет, я не получил внезапного потока восторженных рецензий, меня не предлагали напечатать в Альманахе «Писатель года» или объявить почетным членом Клуба «Слава Фонда».

Зато появились люди, которые начали активно и настойчиво обсуждать моё творчество в негативном ключе. Всё началось с серии публикаций «Я, Мы и ИИ» Лары Кудряшовой. Полгода назад она писала о моих рассказах в цикле «Мои любимые авторы», а теперь, как выяснилось, ей сообщили, что мои тексты «не проходят» проверку неких ИИ-детекторов, которым в её кругу доверяют безоговорочно.

Мне было предложено «пересмотреть» свои тексты и подправить их так, чтобы они соответствовали требованиям этих проверок. Я этого делать не стал. Я хорошо знаю, как и когда пишу: чаще всего — ночью, потому что днём у меня обычная, довольно ответственная работа, не связанная с литературой.

О детекторах ИИ я знал и раньше и никогда не относился к ним всерьёз. Достаточно задать простой вопрос: если бы человек действительно пользовался ИИ, что мешало бы ему сразу попросить писать так, чтобы «чекеры» ничего не обнаружили?

Существует немало исследований, которые прямо указывают: ИИ-детекторы часто дают ложные срабатывания — особенно на хорошо написанные, стилизованные, литературные тексты. Они не анализируют смысл, а работают с частотами, длиной предложений, статистическими шаблонами. Именно поэтому под подозрение регулярно попадают переводы, отредактированные тексты, художественная проза.

Даже OpenAI в своих документах подчёркивает, что подобные инструменты не могут служить доказательством, а лишь показывают вероятность. Это важно понимать. Ниже я приведу ссылки на все источники, по которому вы сразу сможете понять, что они собой представляют.

К сожалению, это не остановило дальнейшее развитие ситуации. В обсуждениях и комментариях я узнал про себя такое, о чем никогда бы не догадался. Совершенно не зная меня, эти люди называли меня «жуликом и бездарем, хитрым манипулятором и лжецом». Я собрал, по их словам, «курятник». Кончалось все тем, что эта компания объявила против меня и моим «вривым писательством открытую борьбу».

И началось. Эти люди писали мне гадкие рецензии, публиковали «стихотворения» и пасквили. Они заходили к моим читателям и писали про меня всякие мерзости, «открывали им глаза». Что же, я поднял брошенную перчатку и обо всех замеченных нарушениях заявлял в администрацию Прозы. Естественно, Администрация удаляла полные ненависти и лжи тексты и комментарии моих оппонентов.

Со временем внимание переключилось и на мои рецензии. Они показались кому-то слишком подробными, быстрыми, «подозрительно» связными. Делался вывод: значит, их пишет не автор, а ИИ. Моим читателям предлагалось проверять рецензии и мои работы на «чекер». И ведь, проверяли, наверное.

Здесь я позволю себе простое объяснение. Из-за постоянной работы за компьютером у меня сильно устают глаза, и иногда я сознательно ограничиваю экранное время. Несколько месяцев назад я начал пользоваться обычным приложением text-to-speech: я наговариваю отзыв голосом, а программа переводит его в текст. Этим давно пользуются журналисты, врачи, адвокаты — ничего экзотического здесь нет.

Если подобный текст кому-то кажется «слишком гладким», я это понимаю. Но это всё та же моя речь, мои слова, мои интонации — просто зафиксированные другим способом. Если кому-то из авторов или читателей такой формат рецензий неудобен — я это приму и учту.

Я также понимаю, что подобные ситуации редко заканчиваются быстро. Кому-то нужны эмоции, столкновения, продолжение конфликта. Но в моих действиях нет ничего против правил — ни в том, как я пишу тексты, ни в том, как читаю и комментирую чужие.

Мне по-прежнему интересна литература. Всё остальное — вторично.

***

P.S. Для тех, кому важно разобраться в вопросе

О ненадёжности ИИ-детекторов и большом количестве ложных срабатываний существует немало открытых исследований и официальных заявлений — в том числе со стороны самих разработчиков.

Ниже привожу несколько общедоступных источников для самостоятельного ознакомления.

Источники и исследования о ненадёжности ИИ-детекторов

1. Официальная позиция OpenAI
Самое важное, базовое.

OpenAI прямо указывает, что ИИ-детекторы не должны использоваться как доказательство.

OpenAI — AI Text Classifier (архив / документация):
https://openai.com/research/ai-text-classifier

«AI classifiers should not be used as a definitive or sole method to determine whether text was generated by AI.»

Также OpenAI закрыла собственный AI Text Classifier, признав его низкую точность.

2. Википедия — обзор проблемы. Очень хороший источник именно как энциклопедический обзор.

Wikipedia: AI-generated text detection
https://en.wikipedia.org/wiki/AI-generated_text_detection

В статье собраны:
• ссылки на исследования,
• примеры ложных срабатываний,
• критика детекторов в академической среде,
• проблемы с художественными и отредактированными текстами.

3. Академические исследования (ложные срабатывания)

Mitchell et al., “DetectGPT” (Stanford / Princeton)
https://arxiv.org/abs/2301.11305

Показывает, что:
• детекция возможна только вероятностно,
• хорошо отредактированные тексты ломают детекторы,
• художественные тексты особенно уязвимы.

Liang et al., “GPT Detectors Are Biased Against Non-Native Writers”
https://arxiv.org/abs/2304.02819

Очень сильная статья. Вывод:
• ИИ-детекторы чаще обвиняют тексты, написанные:
• не носителями языка,
• авторами с литературной стилизацией,
• после редакторской правки.

4. Журналистские расследования и практика

The Washington Post — AI detectors fail badly

Реальные кейсы:
• тексты, написанные людьми ; помечены как ИИ,
• документы Конституции США ; «сгенерированы ИИ»,
• признание вузов: детекторы ненадёжны.

The Atlantic — “The College Essay Is Dead” (о детекторах)

Описывается, почему:
• детекторы не работают,
• стиль ; происхождение текста.

5. Технические разборы (как именно работают чекеры)

Turnitin признал высокий процент false positives
https://www.turnitin.com/blog/ai-writing-detection-update

False positives are possible, especially in creative and edited texts.

OpenAI + academic consensus (обзор):