Зажим

Всякая власть стремится обеспечить соблюдение закона. Достигается это страхом наказания. Чем неизбежнее наказание, тем меньше преступлений. Неизбежность пропорциональна степени прозрачности общества. Максимальная прозрачность гарантирует минимальную преступность.
Вчера прозрачность достигалась паспортами, цензурой, доносами и прочее. Сегодня к этому добавились камеры наблюдения, монторинг личной переписки и другие новшества. Но полной прозрачности никогда не было. Если ИИ станет властью, он станет всеведущим как Бог.
В природу эволюции существующей системы вшит тренд на увеличение прозрачности. Не за горами тот день, когда возникнут условия, вынуждающие иметь в мозгу чип, как сейчас паспорт. Без этого человек будет недееспособен, как сегодня без паспорта. Может быть, это будет требованием закона. Может быть, условия будет толкать к добровольной чипизации. Не важно, как именно будет решен вопрос тотального контроля над обществом и человеком. Важно, что вопрос будет решен.
Всякое нововведение вызывает возмущение. Вчера возмущались введением паспортов, ИНН, видеокамер. Завтра будут возмущаться новыми инструментами контроля. Но так как они вписаны в природу социума и имеют рациональные основания, возмущение никогда не длится долго.
Когда появились уличные камеры видеонаблюдения, почтенная публика начала возмущаться усилением контроля над личностью. Власти ей сказали, что эта увеличивает безопасность общества в целом и личную безопасность каждого человека в частности. Сказать на это нечего, такой момент действительно есть, и возмущение улеглось. Камер становится все больше, но возмущения нуль.
Полностью прозрачное общество будет абсолютно законопослушным. Человек превратится в электричку, способную ехать только по рельсам. Свернуть в сторону при всем желании физически она не сможет. Максимум, сможет сойти с рельс, что означает полную утрату дееспособности. Теперь электричка будет абсолютно беспомощной лежать на боку, пока ее или опять не поставят на рельсы, или не отправят в металлолом по причине серьезных повреждений.
Показатель свободы — возможность выбора. Нет выбора — нет свободы. Идеальный порядок означает, что все объекты следуют заданным маршрутом также точно, как электроны крутятся вокруг ядра без возможности свернуть в сторону. Абсолютный порядок исключает свободу.
Когда ИИ получит власть, он приступит к установлению в обществе порядка, ориентируясь на максимально точное соблюдение закона. Человек в этой системе начнет лишаться своих свобод и прав. При установлении полного порядка он станет чем-то вроде шестеренки, т.е. исчезнет.

Отрывок из книги Искусственный интеллект. Здравствуй папа