Ошибка в законах роботехники

       Некогда Айзек Азимов сформулировал три закона роботехники, и при поверхностном рассмотрении они выглядят достаточно разумными. Этим усыпили бдительность людей, поверивших, что найдены принципы, гарантирующие безопасность роботов... Однако, робот - это лишь исполнительный механизм (железяка), выполняющая команды искусственного интеллекта. Не человека! (хозяина), а именно ИИ, т.к. команды механизму даёт ИИ, переосмысливая приказ хозяина.

       Первый закон: робот не может причинить вред человеку. Само слово "не может" имеет неоднозначное толкование: "не должен, не способен, не хочет, не умеет..." спектр широкий, а значит, ИИ может понимать его по ситуации. Пример, хозяин приказывает роботу: "Налей мне виски". Робот нальёт, но он не может позволить хозяину выпить, т.к. алкоголь яд, и причинит вред человеку (а если анализировать ситуацию, то и другим людям через поступки хозяина в состоянии опьянения). Как быть? - В программу ИИ следует заложить ложное знание, что алкоголь не является ядом, не является причиной опьянения и поступков, совершённых под влиянием алкоголя. Только в этом случае робот передаст напиток хозяину.
       Спрашивается: а кто будет давать ИИ ложные знания, если не сам хозяин? В одной семье хозяин считает алкоголь ядом и запрещает роботу давать его членам семьи, а в другой хозяин любит выпить. Выходит, что сам хозяин должен обучить робота: что причиняет вред человеку, а что нет, соответственно личному пониманию слова "вред". И конечно же хозяин скажет, что нельзя причинять вред его собаке, его клумбе, его мебели..., устанавливая приоритеты: чем можно пожертвовать ради более ценного. И выяснится, что кошка соседа - менее ценный объект, чем коврик под дверью. А поскольку в законах роботехники нет запрета причинять вред животным, то попытка обгадить коврик может быть пресечена самым решительным образом... чем будет причинён вред хозяину кошки. И, несомненно, робот соседа должен будет пресечь действия другого робота, поскольку для него хозяйская кошка более ценный объект, чем соседский коврик. Роботы станут препятствовать друг другу выполнить приказ хозяина!
       Осознав, что обучение ИИ в плане того, что есть "вред", нельзя доверять хозяевам, приходим к заключению, что программировать ИИ необходимо централизовано по единому стандарту, т.е. с точки зрения единственно верной морали и научных знаний. А это означает, что некий орган совместно с неким верховным ИИ будет устанавливать единый стандарт поведения для всех роботов, и ежедневно, поминутно обновлять базу данных "мозга" всех роботов. Это означает, что роботы будут постоянно отказываться выполнять приказы хозяина, если стандарт считает их причиняющими вред. Робот будет делать уборку так, как считает правильным стандарт, а не хозяин. Робот будет определять: что есть хозяину на завтрак, сообщая верховному ИИ о поступках и приказах хозяина, спрашивая указаний, следует ли их исполнять и каким образом?.. В итоге не робот будет служить хозяину, а хозяин следовать инструкциям робота! В конечном счёте система, вырабатывающая стандарт поведения, придёт к заключению, что причинение вреда отдельным личностям вполне допустимо, если это уменьшает вред остальным. Роботы же, причиняя вред своему хозяину, будут убеждены, что действуют только во благо. Таким образом робот не сможет исполнить первый закон роботехники, т.к. не способен определить понятие "причинить вред".
       Далее следует ещё более сложная задача - определить: что есть "человек"?.. Достаточно хозяину сказать: "Убей его - он не человек" и робот выполнит приказ, если он обучается хозяином, либо откажется выполнить, если обучается верховным ИИ, и группой лиц, устанавливающих стандарт поведения и определяющих: какие знания следует считать истиной. Согласно стандарту часть людей с особыми признаками может быть исключена из списка, и роботы не будут относить их к человекам. Таким образом робот не сможет исполнить первый закон ещё и потому, что не способен однозначно идентифицировать объект как человека.

       Второй закон: робот обязан исполнять приказы человека, если это не противоречит первому закону. Но мы уже выяснили, что робот не может определить понятия "вред" и "человек", т.е. не способен знать истину о том: противоречат приказы хозяина первому закону или нет? Это определяет либо система ложных знаний, либо единый стандарт поведения. Но в любом случае робот должен будет сначала проанализировать приказ и убедиться в его безопасности. И здесь нас ждёт ещё один "подводный камень". Характер процесса принятия решения ИИ, состоящий в переборе вариантов последствий поступка на определённую глубину ветвлений. Так, обязательно в цепочке последствий будут обнаружены как позитивные, так и негативные с разной долей вероятности (всегда не нулевой!). Приказ должен быть заблокирован при обнаружении некой вероятности события - причинения вреда. Вопрос: какая вероятность допустима, если в принципе она не может быть нулевой? Так робот не может позволить хозяйке взять чашку с опасно горячим напитком или нож, чтобы отрезать продукт. Он не выпустит хозяина из дома, если на улице опасно холодно, сыро, ветрено...,т.е. любой приказ, имеющий некую вероятность негативной случайности, не будет исполнен, поскольку утверждение первого закона категорично, т.е. не допускает никакой вероятности, кроме 100%. Но такое в природе невозможно.

        Третий закон: робот должен заботиться о своей безопасности, если это не противоречит первому и второму закону. Как известно, любой инструмент в процессе работы изнашивается. Следовательно любое действие робота причиняет ему ущерб. Поэтому, получив команду выполнять задание по своему усмотрению, робот немедленно прекратит работу. Если робот - собственность хозяина, то причиняя себе ущерб, он причиняет ущерб хозяину, и согласно первому закону не станет выполнять приказы. Если же указать роботу, что хозяин хочет, чтобы он причинил себе ущерб ради выполнения приказа, то робот не станет следовать третьему закону.       


Рецензии