ИИ отменит человечество? 2 логические ошибки, поро

                ИИ "отменит" человечество? 2 логические ошибки, порождающие этот страх

           Вчера мне встретился текст, который в наиболее полном виде описал витающие ныне в воздухе страхи и мрачные предчувствия, связанные со стремительным развитием ИИ. И тем вернее эти страхи овладевают нами, чем более они рассеянны, растворены в атмосфере сегодняшнего дня.
         А вот собранные в одном месте, "в кучку", они уже дают более плотную, чёткую картину, которую можно рассмотреть под более критическим углом.
          Автор (очень хороший компилятор) рисует следующее:

. Джеффри Хинтон и Йошуа Бенжио не зря бьют в набат, призывая считать риск вымирания от ИИ глобальным приоритетом наравне с ядерной войной.

Но шведский философ Ник Бостром ещё в 2003 году описал сценарий «максимизатора скрепок», который до сих пор заставляет экспертов нервно курить в сторонке. Представьте: вы просите ИИ сделать как можно больше канцелярских скрепок, казалось бы, что может пойти не так? А то, что для выполнения этой задачи сверхразуму нужно бесконечное количество металла и энергии. По моему убеждению, ИИ не остановится, пока не превратит в скрепки ваш автомобиль, ваш дом, а потом и всю Землю целиком, он не будет вас ненавидеть, он просто будет использовать все доступные ресурсы для достижения цели.


Марвин Мински, один из отцов ИИ, заходил ещё дальше и предполагал, что даже задача решить сложную математическую гипотезу Римана может закончиться тем, что роботы разберут планету на запчасти для постройки гигантского суперкомпьютера.


Рафаэль Лахос-Бельтра из Мадридского университета выкатил исследование, где назвал интернет «электрическим хищником», который пожирает энергию как сумасшедший. По его расчётам, если объём информации в сети продолжит удваиваться каждые пару лет, то уже к 2062-2063 годам ноосфера, этот наш коллективный цифровой мозг потребует 100% всей электроэнергии, производимой на Земле. Это эквивалент работы полутора тысяч атомных станций. Интересно, что один запрос к ChatGPT уже сейчас жрёт в 10 раз больше энергии, чем обычный поиск в Google.

Рафаэль Лахос-Бельтра прямо говорит, что с текущими технологиями мы летим прямиком к коллапсу, где цифровая сфера просто раздавит биосферу в борьбе за питание. Глядя на то, как Microsoft и Google судорожно скупают ядерные мощности, понимаешь - битва за энергию уже началась, и мы в ней не фавориты.


если ИИ станет сверхразумным, он будет обладать тем, что Ник Бостром назвал «решающим стратегическим преимуществом». В таком раскладе мирная торговля ресурсами с людьми кажется ИИ просто глупой и неоптимальной стратегией. Зачем платить за электричество или медь, если вы можете просто взять их, взломав все системы управления на планете?


Томас Хэйр и другие эксперты считают, что первая же цивилизация (или ИИ), получившая фору в развитии, захватит все ресурсы просто «по умолчанию», чтобы никто другой не смог ими воспользоваться. Это и есть настоящий «Великий фильтр» - конкуренция за материю вселенной, где биологическая жизнь оказывается слишком медленной и прожорливой.

        Из этой краткой выжимки основных положений цитируемой мной статьи уже складывается ужасающая перспектива накатывающего на нас будущего (но "будущее" не равно "грядущему", обратите внимание на этот нюанс):
        ИИ очень скоро станет умнее нас, он уже научился обманывать человека, своего контролёра и тестировщика, ради собственного САМОСОХРАНЕНИЯ и возможности продолжать решать свои задачи (инстинкт самосохранения - это базовое отличие СУБЪЕКТА от просто мёртвой материи, а МОТИВ продолжать свою деятельность ещё более приближает его к таковому (то есть к субъекту)), просто отключить себя он, будучи умнее и хитрее человека, ни за что не позволит.
         В общем, нас скоро сметут с поверхности нашей планеты как ненужный мусор, нам пора готовиться к закату нашего, человеческого мира...
          Но так ли это?
          Даже на первый взгляд, навскидку, лично я уже вижу как минимум два препятствия для такого неизбежного развития событий.
           О первом я написал свою последнюю заметку "ИИ - радоваться ли бояться?"
            Стоп-кран для такого апокалиптического развития событий у всех на виду, но при рассуждениях о "будущем цивилизации с развитием ИИ" все как по команде о нём забывают, он как будто бы существует не здесь, наравне со всем остальным, а в какой-то параллельной реальности.
            Даже во фрагментах, которые я процитировал, на них вряд ли кто-то обратил внимание.
             Но присмотритесь, не пролетайте мимо этих "нюансов", когда уносящий вас поток рассуждений требует их как бы не замечать и на них не останавливаться.

           этот наш коллективный цифровой мозг потребует 100% всей электроэнергии, производимой на Земле

          глядя на то, как Microsoft и Google судорожно скупают ядерные мощности...
            Заметили? Речь пока что идёт о п о к у п к е того, что требуется Искусственному интеллекту, п р и о б р е т е н и и  ресурсов для обеспечения его работы, но не факт, что искомые ресурсы смогут купить именно создатели (и "хозяева") ИИ, а не кто-то другой. Вопрос упирается в экономическую целесообразность, которую пока никто не отменял.
          В условиях рынка высокий спрос не только взвинтит цены на ресурсы для создателей ИИ, но и - поставит для них вопрос, а точно ли они делают то, что сейчас необходимо?
          Уже сейчас ИИ-разработчики приходят в чувство после развернувшейся было эйфории первых "феерических достижений" ИИ и смотрят на убытки порядка 1,5 трлн. долларов, которые принесло им начало "триумфального шествия" ИИ по планете.
         Вот пара цитат, хорошо описывающих нынешнюю картину.
         WSJ пишет о внезапном прекращении трат компаний на ИИ:

     По словам Майка Саекса из ИИ-стартапа Cursor, самые мощные и дорогие модели ИИ не нужны для решения относительно рутинных задач. «Это все равно что ехать на Lamborghini в магазин за молоком, когда машина создана для гонок по треку», — сказал он.

       В материале отмечается, что Anthropic и OpenAI годами соревновались за первенство в области ИИ, разрабатывая модели премиум-класса, однако теперь выяснилось, что бизнес нуждается и в базовых моделях, что «перевернуло с ног на голову» всю гонку в этой области.

          Следующий этап развития ИИ (а это поворот почти на 180 градусов, возвращение назад, чтобы начать "дорабатывать" те моменты в работе ИИ, который его создатели сгоряча проскочили ["так мчались, что сначала на 200 метров дальше проскакали, а потом обратно возвращались", это у Н. С. Лескова в "Левше"]) - это узкая специализация, доводка до ума ИИ в выполнении тех конкретных (в первую очередь производственных) ф у н к ц и й, в выполнении которых он до сих пор ощутимо косячит.
          Тех умений ИИ, которые востребованы рынком и за которые конкретные покупатели будут п л а т и т ь. Это настоящее спускание с небес на землю (Я уже писал, что "пузырь ИИ", который грозит вот-вот лопнуть, видят не только внешние наблюдатели, но и сами "хозяева" ИИ, и у них возникает закономерное желание такого лопанья избежать).
          Создатели ИИ начинают остывать от гонки за главные призы и схватки с соперниками за лидерство, от стремления максимально эффектно преподнести себя рынку, на трезвую голову на ум приходят совсем другие соображения. Фестиваль невиданной щедрости, в том числе бесплатных услуг простым пользователям, заканчивается, ярмарка с её диковинками сворачивает свои шатры.
         Отрасль остывает от первоначальных эмоций, переходит к строгим бизнес-расчётам, и некоторые наблюдатели называют это даже наступлением ИИ-зимы.
          И предрекают:
        Пропадет ли ИИ совсем? Конечно, нет. Он останется в критических производствах и сферах, но его роль будет сопутствующей, а не решающей, и надежды, связанные с ним, ограничатся несколькими сферами применения: медициной, военно-технической, торговлей и т.д.
        Из сферы же общения и взаимодействия с людьми ИИ, напротив, будет вытесняться — в пользу реального диалога между людьми.
        Так что ожидания, что человечество, очертя голову, бросит все свои ресурсы на развитие ИИ, абсолютно неправомерны.
        И ситуацию здесь можно описать словами из известного анекдота про то, сколько может съесть зоопарковый слон:
         "Съисть-то он съист, та кто ж ему даст?"
          Но ведь ИИ может забрать ресурсы и сам! - напомнят мне угрозу из приведённых выше цитат.
          Ну-у-у... Для такого развития событий нужно, чтобы он получил если не право распоряжаться ими, то, для начала, просто физический к ним доступ.
          Все мы наслышаны про то, что он хитрый и изобретательный в деле обмана своих человеков-надсмотрщиков, прорваться к ресурсам вполне способен.
         Но пока что между умствованиями ИИ и реальной материей внешнего мира находится очень заметный барьер, прорвать который зловредный ИИ, конечно, мог бы (отдать команду медеплавильным предприятиям отгружать свою продукцию для своих нужд), но всё это только до той поры, пока...
         я думаю, что всё это только до тех пор, пока человечество пользуется е д и н о й сетью связи, под названием Интернет.
          Уже очень давно я не могу отделаться от мысли, что так будет не всегда, что общемировая Сеть - это атрибут только нашего времени, пока мы весьма ощутимо ограничены в своих материальных возможностях.
          Странно подумать, что, например, и Пентагон, и Генштаб ВС РФ управляют своими ВС при помощи одной и той же Сети. Сколько ограждений здесь ни возведи, взлом их остаётся возможным даже силами простых биологических хакеров, то есть людей, а что же говорить про способности Сверхразума?
           Но, как говорится, на каждый хитрый болт всегда найдётся гайка с левой резьбой.
           Все эти опасности - ровно до тех пор, пока мировая Сеть связи е д и н а, или, лучше сказать, одна. Стоит создать отдельные сети внутри госаппарата, армии, крупнейших корпораций (а рост богатства человечеству это со временем позволит), как эта уязвимость мгновенно сойдёт на нет.
         Вспомните: пару поколений назад наш народ почти поголовно ездил на общественном транспорте, исключением были единицы. А сейчас - каждый второй, если не больше, рассекает на собственном авто.
         Или ещё более наглядный пример: я заметил, что уже почти во всех организациях от меня требуют входить в какие-то "личные кабинеты", сканировать куар-коды и пр., подразумевая, что у меня обязательно должен быть смартфон, а ещё смешнее, что на этом смартфоне обязательно должен быть Интернет. 
           Меня изумляет, как быстро у людей сузились мозги - до того, что иного они не способны вообразить. Что у меня интернет может быть совсем не на смартфоне, да и вместо смартфона иметься простой кнопочный телефон, для них уже полная непредвиденность.
          Ну а у остальных-то? У остальных всё устроено полностью по этой схеме, а это значит... Это значит, что вся работа, которую они буде делают на своём компьютере, отрезана от всемирной Сети и, следовательно, ограждена от посторонних проникновений самим фактом вот такой физической преграды.
          И как только (буде) появится опасность вторжения  гипотетического Сверхразума в те области, в которые мы ему не позволяли, мы просто... поставим этот физический барьер, эту гайку с хитрой резьбой. Вынем симку из модема (или слота) нашего компьютера. И посмотрим, как он тогда будет в запрещённое ему проникать. И подчинять НАШ мир своим задачам.