Принципы компьютерной политики

В конце 2024 года вышла новая книга известного исследователя Юваля Ноя Харари — «Nexus. Краткая история информационных сетей от каменного века до искусственного интеллекта». Приведу фрагмент из нее.
В вводном обзоре компьютерной политики все должно быть максимально просто. В то время как эксперты должны посвятить всю свою карьеру обсуждению тонкостей, остальным важно понять фундаментальные принципы, которым могут и должны следовать демократические государства. Главная мысль заключается в том, что эти принципы не являются ни новыми, ни загадочными. Они известны на протяжении веков и даже тысячелетий. Граждане должны требовать, чтобы они применялись к новым реалиям компьютерного века.
Первый принцип - доброжелательность. Когда компьютерная сеть собирает информацию обо мне, эта информация должна использоваться для помощи мне, а не для манипулирования мной. Этот принцип уже был успешно закреплен в многочисленных традиционных бюрократических системах, таких как здравоохранение. Возьмем, к примеру, наши отношения с семейным врачом. За многие годы у нее может накопиться много конфиденциальной информации о состоянии нашего здоровья, семейной жизни, сексуальных привычках и нездоровых пороках. Возможно, мы не хотим, чтобы наш начальник знал, что мы забеременели, не хотим, чтобы наши коллеги знали, что у нас рак, не хотим, чтобы наш супруг знал, что у нас роман, и не хотим, чтобы полиция знала, что мы принимаем рекреационные наркотики, но мы доверяем нашему врачу всю эту информацию, чтобы она могла хорошо позаботиться о нашем здоровье. Если она продает эту информацию третьей стороне, это не просто неэтично, это незаконно.
То же самое можно сказать и об информации, которую накапливает наш адвокат, бухгалтер или терапевт. Доступ к нашей личной жизни влечет за собой фидуциарную обязанность действовать в наших интересах. Почему бы не распространить этот очевидный и древний принцип на компьютеры и алгоритмы, начиная с мощных алгоритмов Google, Baidu и TikTok? В настоящее время у нас есть серьезная проблема с бизнес-моделью этих хранителей данных. В то время как мы платим нашим врачам и адвокатам за их услуги, мы обычно не платим Google и TikTok. Они зарабатывают на эксплуатации нашей личной информации. Это проблематичная бизнес-модель, которую мы вряд ли допустили бы в других контекстах. Например, мы не ожидаем получить бесплатные кроссовки от Nike в обмен на то, что предоставим Nike всю нашу личную информацию и позволим ей делать с ней все, что она захочет.
Почему мы должны соглашаться на бесплатные услуги электронной почты, социальные связи и развлечения от технологических гигантов в обмен на предоставление им контроля над нашими самыми конфиденциальными данными?
Если технологические гиганты не смогут увязать свои фидуциарные обязанности с текущей бизнес-моделью, законодатели могут потребовать от них перейти на более традиционную модель бизнеса, когда пользователи платят за услуги деньгами, а не информацией. В качестве альтернативы граждане могут рассматривать некоторые цифровые услуги как настолько фундаментальные, что они должны быть бесплатными для всех. Но и для этого у нас есть историческая модель: здравоохранение и образование. Граждане могут решить, что правительство обязано предоставлять основные цифровые услуги бесплатно и финансировать их за счет наших налогов, как многие правительства предоставляют бесплатные базовые услуги здравоохранения и образования.
Второй принцип, который защитит демократию от роста тоталитарных режимов наблюдения, - это децентрализация. Демократическое общество никогда не должно допускать, чтобы вся его информация была сосредоточена в одном месте, независимо от того, является ли этот центр правительством или частной корпорацией. Создание национальной медицинской базы данных, собирающей информацию о гражданах, может быть очень полезным для улучшения их медицинского обслуживания, предотвращения эпидемий и разработки новых лекарств. Но было бы очень опасно объединять эту базу данных с базами данных полиции, банков или страховых компаний. Это может сделать работу врачей, банкиров, страховщиков и полицейских более эффективной, но такая гиперэффективность может легко проложить путь к тоталитаризму. Для выживания демократии некоторая неэффективность - это особенность, а не недостаток. Чтобы защитить частную жизнь и свободу человека, лучше, если ни полиция, ни начальник не будут знать о нас все.
Многочисленные базы данных и информационные каналы также необходимы для поддержания сильных механизмов самокоррекции. Эти механизмы требуют наличия нескольких различных институтов, которые уравновешивают друг друга: правительство, суды, СМИ, научные круги, частный бизнес, НПО. Каждый из них ошибается и коррумпирован, поэтому должен проверяться другими. Чтобы следить друг за другом, эти институты должны иметь независимый доступ к информации. Если все газеты получают информацию от правительства, они не смогут разоблачать коррупцию в правительстве. Если научные круги опираются в своих исследованиях и публикациях на базу данных одного бизнесмена, могут ли ученые критиковать деятельность этой корпорации? Единый архив облегчает цензуру.
Третий демократический принцип - взаимность. Если демократические страны усиливают слежку за отдельными людьми, они должны одновременно усиливать слежку за правительствами и корпорациями. Не обязательно плохо, если налоговики или службы социального обеспечения собирают о нас больше информации. Это может помочь сделать системы налогообложения и социального обеспечения не только более эффективными, но и более справедливыми. Плохо, если вся информация идет в одном направлении: снизу вверх. Amazon и TikTok знают очень много о моих предпочтениях, покупках и личности, в то время как я почти ничего не знаю об их бизнес-модели, налоговой политике и политических пристрастиях. Как они зарабатывают деньги? Платят ли они все положенные налоги? Получают ли они приказы от каких-то политических властей? Может быть, у них есть политики в кармане?
Демократия требует баланса. Правительства и корпорации часто разрабатывают приложения и алгоритмы как инструменты для слежки сверху вниз. Но алгоритмы могут так же легко стать мощными инструментами для прозрачности и подотчетности снизу вверх, раскрывая взяточничество и уклонение от уплаты налогов. Если они будут знать о нас больше, а мы одновременно будем знать больше о них, баланс будет сохранен.
Четвертый демократический принцип заключается в том, что системы наблюдения всегда должны оставлять место как для изменений, так и для отдыха. В истории человечества угнетение может выражаться либо в лишении людей возможности меняться, либо в лишении их возможности отдыхать.
Новые технологии слежки, особенно в сочетании с системой социальных кредитов, могут заставить людей либо соответствовать новой кастовой системе, либо постоянно менять свои действия, мысли и характер в соответствии с последними указаниями сверху.
Поэтому демократические общества, использующие мощные технологии наблюдения, должны остерегаться крайностей как чрезмерной жесткости, так и чрезмерной податливости. Рассмотрим, например, национальную систему здравоохранения, которая использует алгоритмы для мониторинга моего здоровья. С одной стороны, система может придерживаться слишком жесткого подхода и попросить свой алгоритм предсказать, от каких болезней я могу пострадать. Затем алгоритм изучает мои генетические данные, медицинскую карту, активность в социальных сетях, диету и распорядок дня и приходит к выводу, что вероятность сердечного приступа в пятидесятилетнем возрасте составляет 91 процент. Если этот жесткий медицинский алгоритм будет использоваться моей страховой компанией, он может побудить ее повысить страховой взнос. Если он будет использоваться моими банкирами, он может заставить их отказать мне в кредите.
Но ошибочно думать, что жесткий алгоритм действительно открыл правду обо мне. Человеческое тело - это не неподвижный блок материи, а сложная органическая система, которая постоянно растет, разрушается и адаптируется. Наш разум тоже находится в постоянном движении. Мысли, эмоции и ощущения возникают, вспыхивают на некоторое время и угасают. В нашем мозге новые синапсы образуются в течение нескольких часов. Например, простое прочтение этого абзаца немного меняет структуру вашего мозга, побуждая нейроны создавать новые связи или отказываться от старых. Вы уже немного отличаетесь от того, кем были в начале чтения. Даже на генетическом уровне все удивительно гибко. Хотя ДНК человека остается неизменной на протяжении всей жизни, эпигенетические и экологические факторы могут существенно изменить проявление тех же генов.
Таким образом, альтернативная система здравоохранения может предписать своему алгоритму не предсказывать мои болезни, а помогать мне их избегать. Такой динамический алгоритм может использовать те же данные, что и жесткий алгоритм, но вместо предсказания сердечного приступа в пятьдесят лет он даст мне точные рекомендации по питанию и посоветует регулярные упражнения. Взломав мою ДНК, алгоритм не узнает мою предначертанную судьбу, а скорее помогает мне изменить свое будущее. Страховые компании, банки и потенциальные супруги не должны так легко списывать меня со счетов.
Но прежде чем мы бросимся в объятия динамичного алгоритма, стоит отметить, что у него тоже есть обратная сторона. Человеческая жизнь - это балансирование между стремлением к самосовершенствованию и принятием себя такими, какие мы есть. Если цели динамического алгоритма диктуются амбициозным правительством или безжалостными корпорациями, алгоритм, скорее всего, превратится в тирана, неустанно требующего от меня больше заниматься спортом, меньше есть, сменить хобби и изменить множество других привычек, иначе он донесет на меня работодателю или понизит мой социальный кредитный рейтинг. История полна жестких кастовых систем, которые лишали людей способности меняться, но она также полна диктаторов, которые пытались лепить людей, как глину. Поиск среднего пути между этими двумя крайностями - бесконечная задача. Если мы действительно дадим национальной системе здравоохранения огромную власть над нами, мы должны создать механизмы самокоррекции, которые не позволят ее алгоритмам стать ни слишком жесткими, ни слишком требовательными.