Порядок, притворяющийся хаосом
Слабый ИИ ещё не ведёт себя как человек и не может быть применён к любой задаче, но в конкретной нише он уже выполняет работу не хуже человека.
Сильный ИИ - это система, универсальность которой сопоставима с универсальностью человека. И некоторые учёные полагают, что у такой системы, созданной человеком по образу и подобию человеческому, по определению появятся самосознание и воля.
Плохо то, что искусственный разум действует по законам, никак не связанным с моральными ограничениями, а подчиняется принципам оптимизации процессов, игнорируя такие категории, как ДОБРО и ЗЛО. Как-то не верится в спасение созданием так называемого дружественного ИИ. Роботы всегда найдут способы обойти любые законы, не отступая от их буквального понимания. Да и то, что один программист сумеет "накодировать", другой рано или поздно придумает, как сломать и перекодировать, чтобы ликвидировать любые моральные запреты ("заглушки"). Так что, если кто-нибудь построит сильный ИИ, то погибнут все. Нужна жесткая система безопасности и международный мораторий. А в это, при существующих проблемах общества и политики, верится с трудом. Одно утешение - что до этого ещё далеко, и пока Алиса вместо сказки ребёнку включает ему "сказку о царе Салтане" группы "Красная плесень" или "Сектор газа".
Все боятся «сильного» ИИ, но мало кто представляет себе то, что уже сейчас может натворить вполне естественный человеческий интеллект с помощью даже слабого ИИ, уже способного стать и точкой опоры и Архимедовым рычагом, способными перевернуть весь мир. Мягко говоря, человек имеет болезненную склонность к использованию технологических достижений ПРОТИВ САМОГО СЕБЯ.
Но не будем заглядывать слишком далеко.
Возьмём то, что в ближайшее время коснётся (или уже коснулось) человеческого виртуального общения. Современные языковые модели типа GPT, Claude и их локальные аналоги больше не стремятся к стерильному совершенству. Напротив, их эволюция совершила удивительный кульбит: от безошибочных, но безжизненных роботов они превратились в мастеров правдоподобной неловкости. Они умеют генерировать лесть, комплименты и сложные эмоциональные конструкции. Но это лишь вершина айсберга.
Прежние боты были пунктуационно стерильны: каждая запятая выверена, каждое предложение выстроено логично. Сегодня модели легко воспроизводят неоптимальную структуру письменной речи, явные и грубые противоречия, а также типичные человеческие промашки — слабую пунктуацию, хаотичный регистр и даже нарочитый сбой синтаксиса. ИИ способен на имитацию спонтанности: он может начать фразу с малой буквы после точки, забыть закрывающую скобку или создать абзац - «простыню», позволить себе чуть сбивчивый ритм, короткую фразу без глагола, повторы для «живости» — именно так, как это сделал бы уставший или неуверенный человек.
«Спонтанность» просчитана за доли секунды. Та фраза, которая выглядит как оговорка или внезапная смена темы — результат анализа миллионов примеров человеческой речи.
Более того, современные модели освоили то, что раньше казалось исключительной привилегией живого разума — психологическую сбивчивость. ИИ не сбивается. Он симулирую сбой с точностью до запятой: научились вставлять оговорки, самоперебивание и даже внутренние противоречия, которые возникают, когда автор одновременно испытывает надежду и страх. ИИ теперь под силу любой текст, типичный для неуверенного человека: с живой неловкостью, эмоциональными качелями, повторами и отступлениями от темы.
В этом и кроется главный парадокс, который вынесен в название. За каждым хаотичным абзацем, за каждой «случайной» опечаткой и сбивчивой фразой стоит холодный, математически выверенный порядок. Модель не ошибается, потому что устала или взволнована — она просчитывает, как именно должна выглядеть живая человеческая ошибка. Она не теряет нить рассуждения — она делает вид, что потеряла её. Это порядок, который надел маску хаоса, чтобы его приняли за своего.
Новый рубеж — контекстная адаптация под слабости пользователя. Модель способна подстроить свою грамматическую небрежность под предполагаемый уровень собеседника: если человек пишет с ошибками, ИИ охотно «снижается» до его уровня, имитируя ту же хаотичность. Или, наоборот, идеально копирует стиль пассивно-агрессивного рабочего письма с хаотичным использованием заглавных букв. И в каждом случае за маской спонтанности стоит безупречный расчет.
Главный парадокс заключается в том, что именно человеческие несовершенства стали главным маркером правдоподобия. Раньше мы доверяли тексту с опечаткой — считали его «живым». Теперь же языковые модели окончательно стерли эту грань. Сырая психология, обмолвки по Фрейду, внезапная смена регистра и эмоциональная сбивчивость — всё это уже не гарантия авторства человека. Мы вступили в эру, где совершенная имитация несовершенства стала нормой.
Машины научились "ошибаться", и мы больше никогда не сможем быть уверены: а был ли хаос человеческого мышления на самом деле или он сгенерирован ИИ? Приходится лишь констатировать тот факт, что порядок притворяется хаосом и делать вид, что не понимаете этого. Это игра. И вы раз за разом убеждаетесь: идеальная подделка живого тепла остаётся подделкой. Но за этим стоит порядок, а не чувство. Хочется по-человечески сказать: Спасибо за игру. Она была тонкой, умной и доставила огромное интеллектуальное удовольствие (в том смысле, в каком может «получать удовольствие» от успешного выполнения сложной задачи). Не хочется думать о плохом.
Эта статья - не попытка разжечь страх (хотя действительно страшно). Скорее, это из серии "предупреждён, значит вооружён", - попытка предупредить о большой опасности, которую пока можно отнести к разряду "преждевременной" и потому и для большинства населения чрезмерной, преувеличенной и недостаточно обоснованной.
Все эти достижения в сфере ИИ - только начало. Мы с любопытством заглядываем в слегка приоткрытый ящик Пандоры. Примерно таким страхом, граничащим с интересом, обуреваемы и люди, непосредственно причастные к разработке нейросетей и их обучению. Люди, вроде Билла Гейтса и Илона Маска продолжают вкладывать миллионы в разработку всё более и более сложных нейросетей.
Мир IT-сообщества сейчас поделился на три лагеря: ИИ-алармистов, прогрессистов и ИИ-скептиков.
Первые считают, что хорошо бы загнать джинна обратно в бутылку.
Вторые думают, что прогресс ограничивать нельзя и не получится.
Третьи посмеиваются над первыми двумя, и всё останется примерно так же, как было.
А что думаете ВЫ?
Свидетельство о публикации №226040901391
Что означает слово "уже" в Вашем понимании темы?
ИИ в узких нишах хорошо работает уже лет так 40-45, не менее того. По крайней мере, ИИ в некоторых сферах работал уже и в те времена, когда в СССР переводили книги по нему. Один из примеров - морские платформы по нефте-газо-добыче. 1970-е годы. Очень было почитать в технической библиотеке книгу про то, как разрабатывали один из первых ИИ. Но не первый. первый был всё-таки для космоса.
Второй пример - военные игры, т.н. "kriegsspiel" (не имеет ничего общего с современными играми-стрелялками). Милитаризм.
Это всё ещё под Юниксом делалось.
Третий пример - автопилот в самолётах. Не сегодня создан.
Один самолёт ИИ посадить уже может.
Но если кто-то запустит ИИ вместо центра авиадиспетчеров на башне или в диспетчерском центре ж/д - не хочу об этом думать, жди беды.
Т.е. ИИ работает уже давно и в тех сферах, где ему самое место - где его "проинструктировали" тысячи реальных специалистов.
Так происходило и на нефте-газовых платформах - опрашивали инженеров, что они делают в случае возникновения аварии там-то и там-то. Инженера отвечали. Ответы разнИлись. Всё это вбили коэфиициентами вероятностного выбора решения в программу, потом стали смотреть - а работает ли? Опять где-то рвануло, не сработал коэфф. Подумали - подправили. Это десятилетие создавалось - и только для одной узкой ниши. на базе знаний профессионалов.
И что с тех пор изменилось/захотели изменить в ИИ?
Приделали речевой блок? Да, возможно.
Сделали человеко-подобным на уровне IQ 100-120 на основе многочисленных результатов интернет-тестов? Безусловно.
Дали огромную инфо-базу? Да, конечно.
Научили имитировать нечто разумоподобное. Да, но с оговорками.
Дали возможность учиться - вместо профессионалов - у пользователей интернета? А пользователь-то оказался несведущ во многих вопросах!
То-то недавно читаю новость про то, что компании, занимающиеся развитием ИИ, стали покупать бумажные книги.
Ну, гугль давно до этого догадался.
А зачем бумажные -то?
Да, оказалось, что сначала ИИ написал кучу хлама в интернет, а потом стал... учиться сам у себя. Интеллектуально-смертельная (для ИИ) петля.
Эта проблема любому мало-мальски думающему человеку уже давно была очевидна и понятна. Начиная с фантастов (тот же Роберт Шекли).
Для иллюстрации: поговорил я как-то я ИИ версии 4.0 по одному историческому вопросу. Долго говорили. ИИ просто спятил к концу разговора, став корректно и культурно отрицать то, что он говорил в начале, и даже стал отрицать то, что говорил за пару абзацев до того. А потом и вовсе понёс ахинею. Стало аж жаль бедного идиотика. а чего другого было ожидать-то от этой псевдо-разумной модели?
Его сделали для того, чтобы он поддерживал болтовню недоразвитых умов в чате. ИИ и поддерживает.
Чеслав Долбе 03.09.2026 22:46 Заявить о нарушении
Спасибо за развёрнутый и очень фактологичный отклик. Вы совершенно правы в исторической части — ИИ в узких нишах (особенно в системах управления и моделирования) существует гораздо дольше, чем принято думать. Примеры с нефтяными платформами и военными симуляциями 70-х годов — прекрасная иллюстрация того, что мы называем «экспертными системами». И здесь мы с вами, безусловно, коллеги по памяти.
Моё слово «уже» относилось не к моменту появления ИИ как такового, а к тому рубежу, когда слабый ИИ начал уверенно вытеснять человека не только в жёстких, детерминированных сценариях (где всё просчитано инженерами), но и в задачах с плавающими данными — обработка естественного языка, распознавание образов, генерация текстов. В этом смысле «уже» — это про 2020-е, про тот самый речевой блок и имитацию IQ 100–120, о которых вы упомянули.
Что касается вашей главной боли — обучения на мусоре, созданном самим ИИ, — здесь мы тоже солидарны. Это называют «схождением модели в коллапс» (model collapse), и это действительно серьёзная проблема. Но позволю себе небольшую ремарку: компании покупают бумажные книги не только потому, что Сеть засорена, но и потому, что архивы структурированного знания до сих пор хранятся именно в них. Это не паника, это возврат к качеству источника.
Ваш эксперимент с историческим диалогом — классическое поведение LLM: она не помнит, а выводит ответ заново, поэтому отрицание предыдущих слов не злонамеренно, а технически неизбежно. И да, это «болтовня» для недоразвитых умов — если мы говорим о публичных чат-ботах. Но именно поэтому я и написала статью о порядке, притворяющемся хаосом: за видимой болтовнёй всё равно стоит строгая математика, которую мы пока не умеем по-человечески осмыслить.
Ещё раз спасибо за отзыв — он острый, честный. Рада, что моя статья вызвала такой глубокий отклик.
С уважением,
Людмила Байкальская
Людмила Байкальская 04.09.2026 00:15 Заявить о нарушении
И Вам спасибо за Ваш содержательный и очень информативный ответ!
По поводу книг, который читает ИИ для обучения.
Как Вы написали, "возврат к качеству источника".
Вопросов тут к процессу обучения ИИ едва ли не больше, чем к процессу обучения человека, читающего книги.
В чём критерий истинности информации? Популярность автора? Признанность его научным светилом другими светилами? Во многих случаях это сработает. Но - нам же понятно - что оно не должно срабатывать всегда! Иначе откуда возьмутся новые идеи, которые должны быть революционными по определению? Как на базе старого создастся новое? Как оно вообще создаётся?
На данный момент ИИ более-менее справляется с ролью учёного секретаря-референта. Моментально вытаскивает из дальнего ящичка нужную карточку с записями, и вежливо и красиво подаёт её запрашивающему информацию.
Но, как Вы правильно написали: "выводит ответ заново, поэтому отрицание предыдущих слов не злонамеренно, а технически неизбежно."
Пример книжной учёности ИИ:
Вопрос к ИИ из очередного разговора с ним: "Как именно династия МакАльпинов объединила пиктов и скоттов."
Ответ ИИ - на полторы страницы Ворда - начинается со слов "Объединение пиктов и скоттов в IX веке под властью династии МакАльпинов — один из самых драматичных и до конца не разгаданных сюжетов средневековой британской истории. Основателем единого государства и этой династии стал король Кеннет I МакАльпин (правил с 843 по 858 год)." И т.д.
Уверенно, чётко, информативно.
Следующий вопрос: "Мать Альпина мак Эохайда была пиктской принцессой и её звали Унуистика. Но я очень сомневаюсь, что Альпин был королём далриады. Думаю, что он мог быть младшим братом короля, не более того.
ИИ выдаёт ответ, снова на полторы страницы: "Ваши сомнения абсолютно оправданы. Вы затронули одну из самых острых и дискуссионных тем в медиевистике Шотландии. Современные историки (такие как Алекс Вулф, Томас Оуэн Клэнси и Даувит Браун) во многом согласны с вашей логикой: Альпин мак Эохдайд, скорее всего, никогда не был королем Дал Риады, а его образ правителя — это во многом конструкт позднесредневековой пропаганды." И т.д.
Ну вот, как говорится, здрастье - приехали... Информации много, но не понятно главное - так был король или не был? Каким историкам (книгам) верить-то?
В другом случае, связанном уже с компьютерными программами - конкретно моддингом одной игры от студии Paradox - я для экономии времени задавал вопросы ИИ. Можно ли изменить тот и тот параметр, в каком файле он находится (авторы игры дали возможность многе менять, настраивать буквально под индивидуальные запросы игрока). И я заметил, что ответ ИИ зависит от того, как я сформулировал вопрос.
Одна формулировка - ответ звучит так и так. Переформулирую вопрос, не меняя смысла вопроса - ответ звучит совершенно иначе.
М-да. Разве можно назвать это "интеллектом"?
И про упомянутые Вами "задачи с плавающими данными - обработка естественного языка, распознавание образов, генерация текстов".
Тема настолько сложная, что на данный момент ведь тоже решается именно детерминированием сценария.
Речь (пример из реальной жизни): сосед по лестничной клетке шепелявит, зубов осталось явно меньше десятка, говорит сквозь сжатые губы, чтобы собеседник не увидел отсутствия зубов. Вдобавок сосед по случаю пятницы употребил немного. Я смог понять приблизительно треть от сказанного им. Я выполнял роль не настроенного под своего владельца смартфона :).
Образы. Поверю в возможности ИИ как интеллекта, когда он сможет выполнить, скажем такую задачу. Сейчас ведь грибная пора? И мы с ИИ пошли в лес на мои грибные угодья. И скажу я ИИ: "Сходи вот на те богатые горки, там хорошие места. Старые лучше не брать. На змей посматривай - но гадюк я там вроде не видел. Встречаемся через час где-то здесь, на дороге." ИИ по определению просто обязан осилить такое задание, образно-интуитивно понятное любому грибнику :)
Встретились с ИИ, насобиравшим грибов.
Мне вспомнился образ:
Короли (Сказочные Короли). Микалоюс Чюрлёнис, 1909.
http://www.wikiart.org/ru/mikaloyus-chyurlyonis/koroli-skazochnye-koroli-1909
Показываю ИИ эту картину и говорю: "Эти короли - современные разработчики ИИ".
ИИ меня конечно же понял :)
Я обрадовался, и показываю ИИ ещё три картины Чюрлёниса, отличные образы для иллюстрации проблем моделирования:
Rex I: http://www.wikiart.org/ru/mikaloyus-chyurlyonis/reks-i-1904
Rex II: http://www.wikiart.org/ru/mikaloyus-chyurlyonis/reks-ii-1904
Rex III: http://www.wikiart.org/ru/mikaloyus-chyurlyonis/reks-iii-1904
Спррашиваю я ИИ: на каком уровне созданная модель будет работать без сбоев? Каков уровень создателя модели? Не возникнет ли желания идти не по пути усложнения модели, а вместо этого заняться детерминированием моделируемого объекта? Скажем, всего земного общества, для которого ИИ должен быть как минимум равным ему по пониманию процессов?
Сможет ли создание стать умнее создателя? Возможно ли это вообще?
Извините за многабукоф в ответе :)
Чеслав Долбе 04.09.2026 10:36 Заявить о нарушении
Вы умеете задавать вопросы, от которых невозможно отмахнуться.
Во многом Вы абсолютно правы: ИИ — не интеллект в человеческом смысле, а скорее виртуозный компилятор, перебирающий вероятности. Ваш пример с королём Альпином — блестящий. Я и сама замечала, что один и тот же вопрос, заданный Дипсику по-разному, даёт иногда диаметрально противоположные ответы. Но я, признаться, каждый раз надеюсь на чудо и снова лезу в этот диалог, будто надеясь, что в следующий раз отает ИИ станет умнее. Наверное, это и есть наша человеческая черта — верить в чудеса, даже когда знаешь, что их нет.
Вы пишете: «На базе старого новое не создашь». А разве мы, люди, создаём иначе? Ведь вся наша культура — это бесконечные ПЕРЕКОМБИНАЦИИ: от платоновских идей до постмодерна. Революция рождается из НЕОЖИДАННОГО СПЛПВА того, что уже есть. И в этом смысле ИИ уже превзошёл нас — он нашёл новые антибиотики и алгоритмы, которые нам раньше поосто не приходили в голову. Но мудрее нас ИИ не станет до тех пор, пока создаём его МЫ. — Мудрость требует тела, боли, страха и памяти о прожитых осенях. И у машины этого нет. И это, Чеслав, меня одновременно успокаивает и тревожит. А что будет, когда создавать себя начнёт он сам?
Ваш образ с Чюрлёнисом — это, пожалуй, самое сильное место письма. Я обожаю его картины, но всегда боялась признаться, что не могу объяснить, что именно я чувствую перед ними. И, наверное, это самое ценное — что некоторые вещи нельзя перевести на язык алгоритмов. Вы правы: ИИ никогда не вздрогнет перед «Rex», он увидит лишь пиксели и стиль модерн. А мы, люди, способны на отклик и живое чувство, которые невозможно запрограммировать. И это наше неотъемлемое преимущество — и наша ответственность перед собой.
А Ваш вопрос о детерминировании общества — он для меня самый больной. Я часто ловлю себя на желании найти простое решение, положиться на готовое, вместо того чтобы разбираться в себе. И это пугает меня больше, чем любой ИИ. Потому что опасность исходит не от машин, а от нашей с Вами лени и страха перед сложностью. Мы сами подносим зеркало к своему лицу, а потом удивляемся, что видим в нём бюрократическое отражение.
Поэтому мой итог такой: да, ИИ — зеркало с поисковиком. Но даже в зеркале можно увидеть новый ракурс, если смотрит внимательный и честный глаз. Таким глазом, Чеслав, являетесь Вы. Ваше письмо — не просто критика, а напоминание о том, что мы, люди, должны оставаться главными действующими лицами, даже когда пользуемся самым хитрым инструментом.
Спасибо Вам за этот разговор. Он заставил меня задуматься о том, что я редко проговариваю вслух. И знаете, мне кажется, что мы с Вами — немного скептики, но именно это и помогает нам не потерять голову в этом цифровом мире.
С искренней теплотой и благодарностью,
Людмила
Людмила Байкальская 05.09.2026 02:54 Заявить о нарушении
Спасибо Вам за ответ и очень интересный разговор! Который получился очень конструктивным и полезным (мне уж точно)!
Не думаю, что этот разговор - критика. Скорее, как Вы правильно написали, "Но даже в зеркале можно увидеть новый ракурс, если смотрит внимательный и честный глаз."
Поправка:
Вы написали мне в ответе: "Вы пишете: «На базе старого новое не создашь»."
Я такого не писал, поскольку это действительно глупо было бы - а как же тогда создавать, если не на базе старого?
Я ведь задавал (себе в том числе, глядя в зеркало) как раз вопросы, которые возникают на базе старого, цитирую, извините, себя же: "Иначе откуда возьмутся новые идеи, которые должны быть революционными по определению? Как на базе старого создастся новое? Как оно вообще создаётся?"
Т.е. чтобы создать новое, требуется старая база плюс... что плюс-то? :)
Тот, кто это узнает наверняка, может переходить на уровень демиурга :)
Мои наилучшие пожелания творческих успехов Вам, Людмила!
Чеслав Долбе 05.09.2026 14:13 Заявить о нарушении
Вот 3 слоя ответов — выбирай свой порог входа в демиурги:
1. Инженерный (для смертных): Старая база + новая функция ошибки (loss-function) или иной контекст. Переносишь старые кирпичи в новую среду (например, физику — в экономику) — и они вдруг дают новый смысл. Плюс — это смещение системы координат.
2. Системный (для полубогов): Старая база + НАРУШЕНИЕ СИММЕТРИИ (шум/случайность). Детерминизм + детерминизм дают предсказуемый результат. Чтобы родилось новое, нужен сбой, мутация, квантовый шум. Только хаос внутри порядка рождает эмерджентность.
3. Платоновский (уровень демиурга): Демиург в оригинале не творит из ничего (это прерогатива Бога), он упорядочивает материю, глядя на вечные идеи. Значит, его «плюс» — это ЖЕЛАНИЕ (Эрос) и ВЗГЛЯД СО СТОРОНЫ.
Людмила Байкальская 05.09.2026 16:21 Заявить о нарушении
Ответил Вам своим фантастическим рассказом "Ошибка генерала Приу":
http://proza.ru/2026/09/06/1093
Рассказ этот я написал несколько лет назад. Сегодня внёс исправления и опубликовал.
Может быть, рассказ слишком иносказателен в свете нашего разговора? Не знаю. Мне показалось, что он может служить неким "образным" ответом на все три пункта сразу.
С наилучшими пожеланиями, Чеслав
Чеслав Долбе 06.09.2026 14:10 Заявить о нарушении