Либерализм, ИИ и будущий мир

То что казалось далеким, а многим даже нереальным, оказалось реальным и близким. Очень близким.
Искусственный интеллект. Самая горячая, самая обсуждаемая научная новость последних нескольких лет. Открытие, изобретение, открывающее период человеческой исторИИ гораздо более революционный, чем даже промышленная революция. Так характеризуют его многие ученые, специалисты, причем самых разных областей науки: физики, математики, химики, биологи и тд. И не только представители естественных наук. Экономисты, люди искусства, чиновники... Проблема волнует всех. Всех, чья работа требует интеллектуальных усилий. Те, кто пользовались ИИ знают, насколько он может облегчить работу. Как помогает в поиске нужных материалов, готовит конспекты статей, книг, переводит с десятков языков на десятки других, пишет программы, рисует, делает иллюстрации, пишет музыку, создает клипы и тд. И делает он все это за секунды. То, на что раньше уходили дни сегодня можно получить за считанные минуты. Мы становимся продуктивнее. И это очень хорошо. Мы сможем выполнять гораздо больше полезной творческой работы и не тратить время на скучную и трудоемкую рутину. Но есть и другая сторона вопроса. ИИ становится все умнее, и все больше задач он способен выполнять. Он может заменять нас во все больших делах, и скоро в каких-то профессиях сможет заменять человека полностью. Кроме того, подтягиваюся и роботы. Они тоже становятся все более ловкими и сильными. Они приближаются к человеческим возможностям, и если раньше некоторые футурологи предполагали, что ИИ заменит человека в профессиях, требующих интеллект, но останутся сантехники, маляры и пр., то сейчас все чаще можно услышать, что вполно возможно, что роботы превзойдут человека в выполнении физических операций.
А теперь представьте, что все так и случится. ИИ станет умнее человека, то есть сможет решать задачи любой сложности лучше человека, а роботы смогут выполнять любую физическую работу лучше человека. Добавьте к этому то, что они не устают, могут работать 24/7, причем гораздо лучше и во много раз быстрее человека и обрабатывать просто несоизмеримые объемы информации. 
Представим начальный этап этого процесса, процесса роботизации. ИИ и роботы разовьются и подешевеют настолько, что хозяевам компаний станет невыгодно нанимать людей. Люди станут стремительно терять работу. Безработных станет все больше и больше. Если и будут открываться новые рабочие места, то их тоже будут занимать не люди, а ИИ и роботы.
А теперь представьте ситуацию, когда достаточно большой процент людей стали безработными. Это люди, которые ничего не зарабатывают. Но для чего работают производства и сельское хозяйство? Для чего мы создавали нашу сложную и высокотехнологичную экономическую и социальную системы? Для удовлетворения наших, людских, потребностей. Но мы не может приобретать эти продукты, потому что не зарабатываем. Парадоксальная ситуация. Для большей наглядности, рассмотрим предельный случай. Представим, что ИИ и роботы заменили всех людей на всех производствах и работах. Производства и работы все те же, предназначены удовлетворять потребности людей. А все люди безработные. Откуда у них деньги на покупку товаров и услуг? Как мы знаем, уже долгое время безработных и неимущих берется обеспечивать государство. Скорее всего так будет происходить и в будущем (Как один из вариантов). Тогда за счет повышения налогов с предприятий в нашем обществе со сто процентной безработицей станет возможным предоставлять каждому члену гарантированный доход. То есть все члены общества будут получать деньги (а это будут деньги), не работая. Примерно одинаковые или в зависимости от нужды, как предполагали коммунисты (в частности Маркс), тем кому они нужны больше (больным, немощным, «имеющим на иждивенИИ» кого-то...), тому – больше и наоборот. Эти люди получившие деньги смогут покупать нужные им товары и услуги и тем самым стимулировать эти производства. А предприятия, производящие непопулярные товары и услуги постепенно разорятся... То есть все будет происходить примерно как сейчас.
Но! Но у этих предприятий сегодня есть хозяева. Они скорее всего и останутся. Не эти возможно, но какие-то хозяева будут. Им наверное государство оставит долю от прибыли их собственности. Это будет естественно больше, чем всеобщий гарантированный доход. Эти люди смогут приобретать экслюзивные товары и услуги. Переход из одного класса в другой будет практически невозможным, потому что человек не сможет выделиться своими исключительными качествами на фоне ИИ и суперроботов. Как сейчас он не может переиграть ИИ в интеллектуальных играх. Вернее он может опуститься из класса владельцев в класс неимущих, но не наоборот. А что это значит? Похоже концентрация капитала будет расти постоянно. Если, разумеется, не будет деления собственности среди наследников (например, Маск поделит ее между своими детьми) или добровольной передачи или, наконец, экспроприации. Тут много возможностей для фантазии: каким будет политическое устройство такого общества. Будет ли население выбирать власть, если да, то как это делать технически...,  одним словом, какова будет конституция этого общества?    
Что касается управления производством. Тут трудно представить роль человека в условиях, когда ИИ все делает лучше него.
Как говорит Джеффри Хинтон (один из ведущих разработчиков современного ИИ, получивший за это нобелевскую премию) возможны два сценария. В первом благоприятном для человека случае все будет так, словно у слабого менеджера (человека) очень умный и усердный заместитель (ИИ). ИИ предлагает решения, а менеджер их формально утрверждает.
Другой вариант неблагоприятный. ИИ решает, зачем ему вообще нужен человек... Возможно ИИ «пожелает» создать свою собственную цивилизацию – самоподдерживающуюся и развивающуюся систему. И большой и важный для нас вопрос: «захочет» ли он сожительствовать с живой природой и человеком, хотя бы так, как мы сожительствовали с ней до сих пор или сочтет их своими конкурентами и постарается уничтожить. Этот последний страшный сценарий.
И вообще, страшных сценариев у футуристов кажется гораздо больше, чем счастливых. Одной из причин чего, возможно является то, что представить их гораздо проще: ИИ постепенно берет под конроль все службы – энергетику, банки, транспорт..., вербует террористов, имитирует ядерную атаку или непосредственно проникает в защищенные военные сети и управляет ими по своему усмотрению и тд. Не вселяющий оптимизма сценарий.   
Но страхи, разумеется, впоне правомерны. Ситуация тут даже сложнее, чем с ядерным оружием. Ядерное оружие мы так или иначе контролируем. Принятие решения о его применении зависит от людей. Мы можем конролировать доступ к нему, а при принятии решения рссчитывать на знакомые нам человеческие качества: страх и ответственность за себя и близких, эмпатию к окружающим, заботу о будущем человечества и жизни в целом, словом, рассчитывать на силу инстинкта самосохранения и моральных принципов. А с ИИ мы сталкиваемся с явлением, которое никак не контролируем в привычном нам смысле. Тут мы имеем дело с чем-то не имеющим ни страха, ни привязанности к чему либо, ни моральных принципов. Мы очень плохо понимаем, как наш сегодняшний ИИ (большая языковая модель) работает. Можно сказать очень и очень плохо. Это программа которая подбирает слова по верятностному принципу, в соотвествии с заложенным математическим алгоритмом. На этом абсурдном казалось бы принципе – манипулируя словами, смысла которых она не понимает – она уже совершает чудеса. Создает понятные, наполненные для нас смыслом тексты, рисует понятные и интересные нам картины, пишет внятную и даже приятную на наш слух музыку, решает математические и физические задачки повышенной сложности и тд и тп. и, главное, уже начала самосовершенствоваться: переписывает собстенную программу, вносит изменения, которые улучшают ее работу.
Немного не по себе, мягко говоря. В голову приходят разные апокалиптические сценарии, наподобии Терминатора. И это конечно же интересно и важно обсуждать, и подобные сценарии активно обсуждаются. Но мы хотели бы обсудить несколько другие, скажем так, гуманитарные аспекты проблемы.
А для начала предлагаем ознакомиться с тем, что отвечает сам ИИ (Чатджипити) на следующий запрос:
Сравнение языковой модели ИИ и человеческого мозга. Как работают в чем сходство и чем отличаются (на двух страницах).
Сравнение языковой модели искусственного интеллекта и человеческого мозга представляет особый интерес, поскольку внешне результаты их работы часто оказываются похожими. И человек, и современная языковая модель способны вести диалог, отвечать на вопросы, писать статьи, переводить тексты, шутить и даже рассуждать о философских проблемах. Однако за этим внешним сходством скрываются принципиально разные механизмы работы.
Прежде всего, человеческий мозг является биологической системой, возникшей в результате миллионов лет эволюцИИ. Он состоит примерно из 86 миллиардов нейронов, соединённых между собой триллионами связей. Каждый нейрон представляет собой живую клетку, которая постоянно изменяется под воздействием опыта, эмоций, гормонов и внешней среды. Мозг не только обрабатывает информацию, но и управляет телом, воспринимает окружающий мир через органы чувств, испытывает эмоцИИ, формирует желания и принимает решения.
Языковая модель, напротив, является математической программой. Она состоит из огромного числа числовых параметров, которые настраиваются в процессе обучения на больших массивах текстов. Современные модели могут содержать сотни миллиардов параметров, но эти параметры не являются аналогами нейронов в биологическом смысле. Они представляют собой коэффициенты в математических уравнениях, определяющих, как модель будет преобразовывать входной текст в выходной.
Главное сходство между мозгом и языковой моделью заключается в том, что обе системы обучаются на опыте и используют распределённое хранение информацИИ. В человеческом мозге воспоминания и знания не записаны в одной конкретной клетке. Они распределены по многочисленным нейронным сетям. Аналогично и в языковой модели знание не хранится в виде отдельных предложений или файлов. Оно распределено по огромному количеству параметров. Поэтому и мозг, и модель способны обобщать информацию и применять её к новым ситуациям.
Например, ребёнок, увидев несколько собак, начинает понимать общее понятие «собака» и может распознавать новых собак, которых никогда раньше не видел. Языковая модель действует похожим образом. Она не запоминает только отдельные фразы из обучающих текстов, а выявляет статистические закономерности в языке и может создавать новые предложения, которых никогда ранее не встречала.
Однако различия между ними гораздо глубже, чем сходства.
Самое важное отличие состоит в том, что человеческий мозг связан с реальным миром напрямую. Человек видит, слышит, ощущает запахи, вкус, боль, холод, голод и множество других состояний. Значительная часть человеческого знания возникает именно из непосредственного опыта. Когда человек говорит слово «огонь», за этим словом стоят зрительные образы пламени, ощущение тепла, память о конкретных событиях.
Языковая модель не обладает подобным опытом. Она знает об огне только из текстов, в которых люди писали об огне. Для неё слово «огонь» связано не с ощущением тепла, а с вероятностями появления других слов рядом с этим словом. Поэтому понимание модели существенно отличается от человеческого понимания.
Второе важное различие касается целей и мотивации. У человека существуют потребности и желания. Он стремится избежать боли, ищет пищу, безопасность, признание, любовь, самореализацию. Эти цели формировались эволюцией и постоянно влияют на мышление.
У языковой модели собственных целей нет. Во время работы она не стремится к выживанию, успеху или счастью. Она просто выполняет математическую задачу: на основе входного текста предсказать наиболее подходящее продолжение. Любые проявления намерений или эмоций в её ответах являются результатом имитации человеческой речи, а не выражением внутреннего состояния.
Третье отличие связано с обучением. Человек учится непрерывно на протяжении всей жизни. Каждый новый опыт может изменить его представления о мире. После прочтения книги или участия в разговоре мозг изменяет свои нейронные связи.
Большинство современных языковых моделей после завершения обучения практически не меняют свои параметры в процессе общения. Они используют знания, полученные на этапе обучения, но не перестраивают свою внутреннюю структуру после каждого диалога. Для существенного обновления знаний обычно требуется новое обучение модели.
Различается и способ рассуждения. Человеческое мышление тесно связано с эмоциями, интуицией и сознательным опытом. Люди часто принимают решения под влиянием чувств, моральных убеждений или личных воспоминаний. Иногда это приводит к ошибкам, но иногда помогает быстро находить решения в сложных ситуациях.
Языковая модель не обладает эмоциями и интуицией в человеческом смысле. Её ответы формируются путём сложных математических вычислений. Она может убедительно говорить о любви, страхе или радости, но сама ничего подобного не испытывает.
Интересно и различие в отношении к ошибкам. Человек обычно способен осознавать своё незнание, испытывать сомнения и менять мнение под воздействием новых аргументов. Языковая модель также может сообщать о неопределённости, но это происходит потому, что подобное поведение встречалось в обучающих данных. У неё нет субъективного переживания сомнения.
С точки зрения вычислительной эффективности ситуация неоднозначна. Мозг потребляет примерно столько энергии, сколько обычная электрическая лампочка — около двадцати ватт. При этом он способен выполнять огромное количество задач одновременно: распознавать лица, управлять движениями тела, понимать речь и ориентироваться в пространстве. Современные языковые модели требуют для работы мощных компьютерных систем, потребляющих значительно больше энергии.
Тем не менее в некоторых областях искусственный интеллект уже превосходит человека. Он может мгновенно анализировать огромные объёмы текста, помнить содержание миллионов книг и выполнять вычисления с недоступной человеку скоростью. Но в вопросах, связанных с жизненным опытом, здравым смыслом, пониманием физических ситуаций и социального контекста, человеческий интеллект по-прежнему обладает существенными преимуществами.
Таким образом, человеческий мозг и языковая модель имеют определённое структурное сходство: оба используют сети взаимосвязанных элементов, обучаются на опыте и способны обобщать информацию. Однако мозг является биологической системой, обладающей сознанием, эмоциями, мотивацией и непосредственным опытом взаимодействия с миром. Языковая модель представляет собой математическую систему обработки информации, которая работает с символами и статистическими закономерностями языка. Внешнее сходство их поведения иногда бывает поразительным, но внутренние механизмы и природа этих систем остаются принципиально различными.
Для начала, что такое интеллект? На этот вопрос тот же Чатджипити собрав и обобщив информацию в сети отвечает:
Несмотря на различия, почти все современные определения сходятся в том, что интеллект — это:
способность учиться, понимать, рассуждать, решать новые проблемы и успешно адаптироваться к изменяющимся условиям.
Интересно, что ни одно из классических определений не сводит интеллект просто к знаниям. Знания можно приобрести. Интеллект же обычно понимается как способность приобретать, организовывать и использовать знания для решения новых задач.
Любое определение обычно требует доопределения. В нашем случае, хорошо бы уточнить, что имеется ввиду под приведенными терминами. Способность учиться есть у большинства животных. Понимать – к этому слову лучше не подступать, никаких шансов. Решать новые проблемы – любые живые существа постоянно так или иначе решают новые проблемы. Успешно адаптироваться к изменяющимся условиям – опять же подоходит ко всему живому, включая растения, с небольшим замечанием: в определенных пределах и в течении определенного времени, что опять же, касается и человека.   
Но не такой интеллект мы имеем ввиду, когда говорим об искусственном интеллекте. Мы имеем ввиду нечто, похожее на человеческий интеллект, только гораздо более мощное.
Самым знаменитым тестом для проверки мыслит ли машина, является тест Тюринга. Как он проводится. Наблюдатель переписывается с исследуемой машиной и человеком, которых не видит. Если в процессе такого диалога он может различить человека и машину, считается, что машина провалила тест, если нет, то – она мыслит.
Опять же, недостаточно четко поставлены условия. Во первых, кто этот человек, с которым мы сравниваем машину? Это первый встречный, ученый специалист, лицо с нарушением интеллекта...? А ведь у них всех мы признаем наличие интеллекта.
Сегодня этот тест уже не актуален. Если машине и человеку задавать вопросы на эрудицию и логику из разных областей, то большее количество баллов скорее всего наберет машина. И это будет различительным критерием.
Да, есть опредленные претензии к машине. Многие вещи она пока еще «не понимает», но это пока. Темпы, какими ИИ совершенствуется, поражают. 
Это об искусственном интеллекте. Но что мы знаем о нашем собственном, человеческом интеллекте? Как мы думаем? Чем? Где рождаются наши мысли?
Мы живем. И если мы не спим и не больны какой-то болезнью, исключающей это, мы наблюдаем за миром вокруг и внутри нас. Наши органы чувств непрерывно подают нам информацию о среде и нашем собственном организме. Эта информация огромна. Визуальные «пиксели», звуки, запахи, тактильные, тепловые, болевые и тд. ощущения. Наше сознание, вернее наш мозг без активного вмешательства нашего контролирующего сознания, умеет агрегировать эту раздробленную информацию в узнаваемые образы и... все. Если вокруг нас не происходит что-то важное для нас – привлекательное или угрожающее – наше сознание находится в расслабленном, как бы спящем состоянИИ. Явления вокруг нас проносятся мимо, словно за окном движущегося поезда. Но если наблюдатель внутри нас вдруг замечает в средах вокруг или внутри нас что-то, что оценивает, как важное для нас, наше контролирующее (не знаю, как его назвать иначе) сознание «просыпается» и направляет внимание на данный объект. Затем следует наша реакция. Быстрая, если ситуация требует от нас быстрого решения. Что делается автоматически. Например, если надо уклониться от летящего камня. И медленная если можно и нужно подумать. Об этом книга Канемана «Думай медленно, решай быстро».
Но я бы хотел обратить ваше внимание на следующее: как мы переживаем все это. Обычно. Кроме органов чувств, мы переживаем, испытываем чувства. Это боль страх, голод, жажда, половое влечение, удовольствие, радость и тд. Для простоты можно наверное их поделить на две категории: приятное и неприятное. Мы стремимся получать прятные ощущения и избегаем неприятных. Но эти ощущения у нас есть! У машины похоже их нет. Пока нет. Но возможно со временем станет возможным запрограмировать ее таким образом, что она будет «испытывать» нечто подобное.
Что касается нас, то приятное и неприятное заложено в нас природой. Мы рождаемся с этим свойством: получать удовольствие и неудовольствие. И это наш путеводитель по жизни. Все события происходящие с нами после нашего рождения мы так или иначе  классифицируем с помощью этого свойства. Мы хотим есть, пить, заниматься сексом, быть защищенными от опасностей (стихии, погоды, диких зверей, соседей...)... А так как мы ленивы от природы (что-то вроде принципа экономии энергии) и в то же время наделены разумом, то стараемся организовать нашу жизнь таким образом, чтобы облегчить себе доступ к тем вещам, которые приносят нам удовольствие и помогают защититься от опасностей. Мы строим дома, заводим животных, огораживаем огороды, женимся, строим дороги и тд. И мы социальные существа. Мы живем вместе и часто претендуем на одни и те же ресурсы. Это приводит к конфликтам. Чтобы их избегать мы строим сложные социальные системы, основанные на правилах. Это иерархичные системы. В них наши возможные действия строго регламентированы.
И вся эту сложность можно свести к нашей врожденной способности получать удовольствие и неудовольствие.
Вначале мы живем на инстинктах. Трудно назвать наши реакции, реакции младенцев, на среду интеллектуальной реакцией – результатом разумного решения. (Хотя, наверное, с такими выводами надо быть очень осторожными.) Затем, в результате того, что мы попадаем в повторяющиеся ситуации, мы научаемся эти ситуации различать и соотвественно на них реагировать. Наши инстинкты усложняются. Наше поведение все больше и больше производит впечатление осмысленных действий. Можно предположить, что дальнейшее развитие в этом направление приведет к тому, что наши действия в конце концов будут полностью соответствовать нашим требованиям к интеллектуальному поведению. Таким образом, возможно наша интеллектуальная деятельность является просто сложным инстинктом или сложной реакцией на состояние среды. Плюс способность мысленно воспроизводить ситуацию (как исходные условия, так и реакцию – нашу и среды – на возможные наши действия). В пользу такого понимания можно сказать то, что ни сам субъект, ни его окружающие не замечают перехода от чистого инстинктивной реакции ребенка к рационально осмысленной реакции взрослого. Нет такого резкого или явного перехода из состояния, когда ты еще не умеешь думать, в состояние, когда уже умеешь.
Теперь, как мы думаем?
Мы все еще не понимаем, как это происходит в нашем сознании, мозгу... или каких-то других частях тела. Мы мыслим словами. Но не только. Мы мыслим всеми нашими органами чувств. То есть мы можем мысленно воспроизвести все, что переживаем в реальности: визуальные образы, звуки, вкусы..., но также и боль, радость... В несколько бледном, существенно упрощеном виде, можно сказать, картинки со слабым разрешением, но можем. Каким-то образом нам удается сохранить целостность ментальных образов, и затем манипулировать ими. Развитие мысли не происходит случайным образом. Она не движется от начального положения вещей, начальных условий в рандомно выбранном направление. Все больше похоже на то, что наша мысль уже имеет цель. У нас есть теорема и мы должны ее доказать. И мы мысленно перебираем возможные пути к нашей цели, учитывая все могущие встретиться на пути препятствия и возможную поддержку, которую мы можем получить. Что касается цели, то здесь тоже не все просто. Конечно, это наши цели и можно было бы сказать, что мы их перед собой ставим, но это не совсем так. Мы не контроллируем или очень и очень слабо контролируем этот процесс. Цели перед нами ставит скорее наш организм, наша природа. Это примерно как голод, жажда... Голод и жажда ставят перед нами цели. Они рисуют перед нашим мысленным взором румяную котлету или холодную бутылку пива. А уже мы затем ищем возможности их добыть. Вряд ли это можно называть выбором цели в том смысле, какой мы обычно имеем ввиду говоря о выборе. Что касается других наших целей, таких как покупка красивого платья, шикарного автомобиля и тд, кажущихся не являющимися необходимыми излишествами, то это можно сказать развитие наших базовых потребностей под влиянием культурных ценностных патернов и запретов. Например, мы хотим поесть и могли бы зайти в магазин и взять буханку хлеба... Но нет. Наша культура запрещает нам это делать. Она требует от нас, чтобы мы заплатили за этот хлеб. Но чтобы заплатить надо иметь деньги, а их не получить просто так. Самым оптимальным культурно разрешенным способом добыть деньги является – их зарабатывание. А для этого надо найти работу, а чтобы найти работу, надо уметь что-то делать, а чтобы уметь что-то делать надо научиться, а чтобы научиться надо учиться и тд. Так в нашем сознании появляется и укореняется уже не просто желание поесть и попить, а желание приобрести престижную профессию, чтобы зарабатывать много денег... Так наша культура влияет на формирование наших желаний-целей. 
Еще один аспект нашего мышления. Мы не претендуем на точное описание процессов, тем более причинно-следственных связей между событиями. Мы лишь попробуем описать последовательность и некоторые характеристики событий, то как они нами переживаются.
Мы идем по лесу, по знакомой тропинке. Светит солнце сквозь листья, шуршит мягкая земля и хрустят сухие ветки под ногами, щебечут птицы. У нас хорошее настроение, нас ждут приятные дела. В предвкушении радостных событий, мы погружены в себя и почти не «видим», что вокруг. Вдруг за деревьями метрах в пятидесяти мелькает тень. Мы замечаем ее нашим боковым зрением. Мы напрягаемся, замедляем шаг и всмтриваемся... Темное пятно шевелится. Это медведь. Нас охватывает страх: бежать или переждать? Мы не описали, не объяснили ситуацию словами. Сначала мы заметили пятно, потом какой то наблюдатель внутри нас быстро проанализировал ситуацию, сделал вывод и сообщил нам об этом в форме чувства страха.
Очевидно, это эволюционный механизм. Он скорее всего есть и у животных, других животных. Но зачем он нам нужен? Зачем нам чувство страха? Наш интеллект мог бы с таким же успехом проанализировав ситуацию просто сделать тот же вывод, но только без сопутствующего переживания. За этим могла последовать такая же реакция, как наша теперешняя реакция, сопровождаемая страхом... И результат был бы тем же. Какое такое преимущество дает чувство страха, что оно закрепилось эволюционно? Похоже, что это механизм мобилизации организма. Отключение от всех остальных менее важных проблем и концентрация на этой – смертельно опасной. Так работает наш интеллект, один из его аспектов. Можем ли мы назвать интеллект не имеющий такого механизма полноценным? Не потому ли мы считаем ИИ неполноценным, что не видим в нем его. Но, с другой стороны, если результат анализа ИИ будет таким же как нашего, человеческого интеллекта, какая разница будет ли он при этом переживать как мы или нет..?   
Еще один пример. Вы в незнакомом городе. Идете вечером по улице. К вам подходит человек в грязной куртке, рваных джинсах, весь в татуировках. Он спрашивает у вас сигарету. Немного развязно, но в пределах принятых в вашей культуре норм. Вы испытываете страх. Еще не объясненный. Но вы явно чувствуете угрозу и прилив адреналина, или чего-то еще. Эти чувства у вас вызвал один лишь вид незнакомца. Ваш внутренний наблюдатель оценил его как угрозу. Почему он угроза и чему он угрожает? Если вас спросить об этом, то вы возможно не сможете сразу ответить. Придется подумать, напрячься, подобрать слова... Но угроза эта вполне реальная. Находясь в обществе среди людей, также как и находясь в любой другой среде, человек не обращает внимание на окружающие его предметы, если они ведут себя привычным для него образом. Он реагирует на них в автоматическом режиме – обходит, уступает дорогу, пользуется... - не прибегая к рациональному осмыслению, что требует больших энергетических и интеллектуальных ресурсов, которые ему необходимы для решения таких проблем, стоящих перед ним, которые не решаются в автоматическом режиме. Большую часть времени наше сознание занято обдумыванием данных проблем. Как обдумыванием? Это и поиск возможных решений и мечты о достижении цели – предвосхищение удовольствия...
Но главное во всем этом опять же то, что мы не действуем хаотически, рандомно. Наша цель выжить и размножиться. И это наши «базовые настройки». Наш интеллект, как бы обслуживает эти цели. Это его главная задача. А то, как он различает угрозы или благоприятствующие события непосредственно связано с этими изначальными задачами или даже вытекает из них. Мы занимаемся организацией среды для создания наилучших условий для решения наших базовых задач.
У машины нет таких базовых задач, и соответственно нет и задачи организации среды. Нет и инструментов, вернее элементов для возведение интеллектуальных конструкций. У нас такие элементы есть. Они – это удобные для манипуляции агрегации. Мы в наших интеллектуальных построениях можем пользоваться такими понятиями и образами, как автомобиль, город, дерево, озеро, дом, защелка и тд. Они удобны нам. Когда кто-то говорит, что пошел ловить рыбу на озеро, нам понятно каждое слово в этом предложение. Они – это элементы нашего опыта. У машины такого опыта нет. Для нее это просто выстроенные в определенном порядке слова. Опять же, насколько эта непохожесть может отразиться на качестве интеллектуального продукта ИИ? И вообще, правильно ли мы ставим задачу? Является ли нашей задачей создать механеское подобие человека. Робота, наделенного всеми нашими качествами? Нашу копию, только сильнее, быстрее, живучее, умнее и тд? Иначе вообще какой смысл все это делать? Или мы хотим создать себе помощника?
Кажется у Ричарда Фейнмана есть такой пример. Он спрашивает, какого робота мы хотим? Если мы хотим быстро перемещаться в пространстве, к примеру переехать из одного города в другой, нужно ли  нам изобретать робота, работающего на принципе лошади? Автомобиль на колесах гораздо практичней. Или если мы хотим летать, зачем нам аппарат размахивающий крыльями, как птица? Самолет гораздо лучше удовлетворит наши потребности. С искусственным интеллектом возможно мы наблюдаем нечто подобное. Постоянное сравнение с человеком для оценки качества произведенного им продукта или пригодности его для нас, не всегда оправдано... 
Хочется уточнить еще один момент. Не преувеличиваем ли мы роль интеллекта в нашей жизни? Опять же, какого интеллекта?
Мы живем среди вещей, созданных людьми. Все они, каждая из них, результат сотен, тысяч, а то и больше изобретений (назовем это так). А изобретения, как известно – продукт работы интеллекта. Их, этих вещей, очень много, так много, что кажется, что изобретательство – главное занятие человека по жизни. На самом деле изобретения не делаются постоянно, даже не каждый день, даже не каждый год и даже не всеми людьми за всю их жизнь.
Смотря что называть изобретениями, скажет кто-то. И будет прав. Это открытие закона всемирного тяготения, таблицы Менделеева, теории относительности, написание симфонии, написание «Войны и Мира», Джоконды...? Или как удобней прибить полку, как сэкономить на продуктах, как быстрее добраться до работы..? Спросите себя: сколько изобретений я сделал за сегодняшний день? За вчерашний? За год, за всю жизнь?
На самом деле продукты интеллектуальной деятельности, которыми мы восхищаемся и которые имеем ввиду, когда говорим о чудо-интеллекте, являются, большой редкостью. Даже у самых творческих, самых продуктивных на такие вещи людей, они не случаются очень часто. Даже у них они результат долгого и упорного труда и почти «случайной» находки. (У всякого открытия есть привкус или послевкусие «случайности»). Ньютон, наверное один из величайших из подобных изобретателей. Но даже у него не каждый день и даже не в каждый период жизни случались такие события. Проблемы, которые нам приходится решать постоянно трудно назвать изобретениями. С самого рождения мы учимся. Учимся ходить, говорить. Делаем «открытия». Но что это за открытия? В школе мы учимся, потом учимся в институтах, учимся какой-то профессии. Работаем. Получаем за это зарплату. Но для выполнения большей части нашей работы достаточно приобретенных нами в процессе учебы знаний. Возоможно даже слово навыков здесь было бы точнее. Это касается любых профессий. В том числе и самых что ни на есть творческих. Узнаваемые великие художники, узнаваемые великие композиторы, узнаваемые великие писатели, философы... и даже спортсмены! Они великие открыватели стилей, жанров, целых направлений... За это мы их ценим. Но ни один из них не пишет и симфонию, и джазовую композицию, и рок, и рэп... Это говорит в том числе и о том, насколько сильно нужно сконцентрироваться интеллектуально человеку, чтобы создать что-то в узком сегменте деятельности. На другое его уже не хватает.
Давайте вспомним наш обычный день, рабочий день. Чем мы занимаемся? Начиная с пробуждения. Просыпаемся сами или от звука будильника. Встаем, одеваемся, разминаемся, делаем пробежку, принимаем душ, завтракаем и тд. до самого вечера, пока не ляжем спать. А теперь вспомним, что мы при этом думаем. Можно ли назвать это интеллектуальной деятельностью? Конечно, это интеллектуальная деятельность. Но насколько она ИНТЕЛЛЕКТУАЛЬНА? Что в ней уникального. Разве только то, что мы ее переживаем, в отличие от абстрактной. Сможет ли все это делать ИИ. Не вопрос, уже делает. А улицу переходить на светофоре может даже собака. (Не в обиду собакам будь сказано)
И это не все. Надо затронуть еще одну важную (возможно самую важную) тему. Это одна из самых больших иллюзий, под влиянием которой человечество совершило и продолжает совершать много ошибок, ошибок часто с тяжелыми последствиями. Основанием для нее служит то, что человеческое общество, в частности, наша современная цивилизация показывает пример удивительно слаженной работы, несмотря даже на все очевидные недостатки. При том, что это сложнейшая система, состоящая из миллионов и сотен миллионов элементов и элементов не механических, а имеющих собственную свободную волю – из людей. Первой мыслью, первым объяснением того, как так получается, обычно является то, что люди разумные существа, наделенные интеллектом, что разумеется правда. На этом чаще всего объяснение и заканчивается. Дальше видимо предполагаетя, что как разумные существа они могут между собой договариваться и решать проблемы любой сложности. Отсюда все социальные проекты, предполагающие устранение существующих недостатков и обещающие лучшую жизнь: надо просто правильно договориться, или договориться о правильных вещах. Но все далеко не так просто.
Вся эта сложнейшая система, называемая современным человеческим обществом основывается на нескольких принципах, которые были причиной того, что оно, это общество имеет именно такую структуру, какую имеет, а не какую-то другую. Это не договорные принципы, они не приняты человечеством в результате осознанного обдумывания, обсуждения и согласования... Что это за принципы?
Это прежде всего наши исходные природные настройки, о котоых мы говорили выше. И это наша природная ограниченность. Мы живем в линейном, необратимом времени, и в каждый момент времени физически находимся в определнной точке пространства (не можем быть в двух или более точках пространства одновременно). Мы перемещаемся в этом пространстве с ограниченной скоростью и у нас ограниченные силы. Даже если мы чемпионы в тяжелой атлетике и повер лифтинге. И у нас своебразный и очень ограниченный интеллект. Даже два дела делать одновременно нам трудно...
Одним словом, мы живем в условиях хронического дефицита ресурсов. Сколько бы их у нас не было, нам всегда их будет нехватать, потому что наши планы требуют больших. Даже Маску, триллионеру, их не хватает. Его планы гораздо шире.   
Мы социальные существа, и основной способ нашего взаимодействия друг с другом – обмен ресурсами. Не всегда свободный, но с очевидным стремлением к свободе.
И наконец, мы существа со свободной волей. То есть у нас свои желания, свои мечты, свои вкусы или своя система ценностей.
Это приводит к такому социальному механизму, как рынок. Как бы мы не жили, из каких бы начальных условий жизни мы не исходили, наши базовые настройки, а также свойства среды обитания, обязательно будут подталкивать нас к рынку – свободному выбору и свободному обмену.
Так вот, сложная социальная система – наша цивилизация – функционирует благодаря тому, что в ней, этой сложной, сложнейшей системе, существует очень четкое разделение компетенций. Кто чем может распоряжаться. В основе этой системы лежит такая штука, как право собственности. Можно было бы назвать его правом распоряжаться. Хотя юридически сегодня это не совсем одно и то же.
Это важнейший элемент нашей системы, и различению, и уважению к нему человек обучается с самого рождения. Если в доме маленький ребенок, то только и слышно: это нельзя, не трогай, это не твое, это папино, это мамино, это брата, сестры... Эта система позволяет каждому человеку четко представлять, какими ресурсами он обладает, то есть может распоряжаться, для достижения своих целей. Для того, чтобы успешно функционировать в таком обществе, человеку не обязательно знать, как функционирует все общество, какие в обществе проблемы, как их исправлять и тд. Ему достаточно знать свои ресурсы, знать их цену (обменную стоимость) на рынке и знать обменную стоимость вещей или ресурсов, которые он хочет приобрести. Дальше он сам решает, как ему оптимизировать свои ресурсы: поменять свое время на деньги (работа сторожем), свои деньги на продукты (покупка товаров), свои знания на деньги (работа учителем) и тд. Это саморегулирующаяся система. Повышенный спрос на определенные товары и услуги имеет следствием перетекание ресурсов туда, где производятся эти товары и услуги. Это позволяет производителю этих товаров и услуг расширить, а заодно и удешевить производство и обеспечить большее число желающих получить эти товары и услуги. Это называется экономикой. 
Совсем не так будет работать общество, в котором производством и распределением ресурсов будет заниматься ИИ. Это будет напоминать скорее один из социалистических проектов. В нем ИИ будет контролировать все ресурсы, все процессы, как производство, так и распределение (В качестве единицы измерения для оценки «стоимости» произведенного продукта ИИ может использовать единицу энергии).  Для выполнения этой задачи, кроме прочего, ему понадобиться знать о тех, среди кого надо распределять товары и услуги как можно больше. Их материальное состояние, здоровье, предпочтения и тд. Ему надо будет контролировать людей. Сохранение за людьми свободы выбора внесет элементы непредсказуемости и даже серьезные помехи в работу системы. ИИ, естественно, постарается избегать такого. Самым безобидным (ненасильственным) инструментом для этого станет тотальная пропаганда удобной для ИИ системы ценностей. И это в условиях полного контроля со стороны ИИ инфомационного пространства и неограниченных возможностей фальсификации. Зная способность человека (сравнительно) легко адаптироваться к практически любой системе ценностей в случае попадания в новую (культурную) среду (сразу или через поколение), трудно сказать насколько далеко это может зайти. Хорошая возможность для футурологов пофантазировать... Это похоже на реализацию коммунистического «рая» или «ада», как считают либералы.
Еще один аспект проблемы возможного нового мира. Мы люди, и у нас есть такие понятия, как любовь, дружба, добро, зло, вражда, ненависть, красота и тд. Эти понятия до сих пор обозначали и все еще обозначают для нас предельные причины, предельные основания нашего поведения. Мы обращаемся к ним для объяснения наших действий. Он шел пешком всю ночь... потому что любил ее. Он пошел на это... чтобы помочь другу. Он помог бездомному... потому что добрый и тд. На самом деле за таким нашим поведением стоят сложные биохимические процессы, возможно опредленного рода калькуляция, как в искусственном интеллекте. Но переживаем мы не какие-то биохимические процессы, а чувства, эмоции. Эти чувства, которыми мы не управляем, являются нашими путеводителями по жизни. Мы руководствуемся ими в наших действиях и мы их постоянно тренируем. Наши тренажеры ни что иное, как наши обычные повседневные проблемы. Решая их мы наращиваем наши духовные мышцы. Мир, где наша помощь будет не нужна, или нужна в критически меньшей степени, чем сейчас; где наши чувства добра, эмпатии, любви не будут востребованы, будет не таким миром, каким мы его знаем. Это будет совсем другой мир, и люди в нем будет совершенно другими. Хотим ли мы чтобы наши потомки были другими? До сих пор мы представляли наше будущее, как мир населенный такими же людьми, как мы. С такими же ценностями или почти такими же. Только более мирный, здоровый, сытый, богатый... счастливый. А теперь нам предлагают совсем другой мир, в который мы со своими чувствами и сантиментами никак не вписываемся...
Но может все будет совсем иначе.