AlphaZero - Предисловие Демиса Хассабидиса

Введение Демиса Хассабиса

Шахматы были далеко не просто игрой, они всегда были частью меня.

Я начал играть, когда мне было четыре года, и когда я поднялся в юниорском рейтинге Англии, моей мечтой было стать чемпионом мира. Серьезное участие в игре в таком юном возрасте было чрезвычайно важным опытом. Он научил меня, как решать проблемы, как строить планы и разрабатывать стратегии, как справляться с интенсивным давлением конкуренции и как представлять себе и визуализировать возможные варианты будущего. По сути, шахматы научили меня думать. Но по мере того, как я стремился совершенствоваться как шахматист, я начал глубоко размышлять и задаваться вопросом о природе самого мышления. Как мой мозг придумывал эти движения и что стояло за феноменом, который мы называем интеллектом?

 Эти вопросы привели к моей пожизненной одержимости работой мозга и увлечению философией и неврологией, но один конкретный момент в конечном итоге оказал большое влияние на направление, в котором я буду двигаться до конца своей жизни. Мне было 11 лет, и я участвовал в изнурительном восьмичасовом матче с ветераном-датчанином на крупном международном турнире в Лихтенштейне. Мы дошли до крайне необычного эндшпиля, которого я никогда раньше не видел – у меня был только ферзь, а у моего куда более опытного соперника – ладья, слон и конь. Он был впереди по материалу, но, если бы я мог просто держать его короля под контролем с моим ферзем, я мог бы добиться ничьей. Шли часы, пока он передвигал свои фигуры, пытаясь перехитрить меня, и огромный игровой зал медленно пустел, пока все остальные заканчивали свои игры. Затем внезапно, после десятков ходов без какого-либо прогресса, ему, наконец, каким-то образом удалось заманить моего короля в ловушку, и его следующий ход, казалось, заставил поставить мат. Измученный и потрясенный, я сдался.
 
Тотчас же встал, растерянный. Он рассмеялся, драматически показывая, что я мог бы добиться ничьей, если бы только пожертвовал своим ферзем, чтобы добиться пата. В последний момент он применил дешевый трюк, и он сработал! Меня чуть не стошнило. На следующий день я размышлял над тем, что произошло, и, глядя на битком набитый зал, наполненный блестящими умами, я отчетливо помню, как задавался вопросом, а что, если бы все эти невероятные коллективные умственные усилия можно было бы вместо этого каким-то образом направить во что-то большее, чем игры, возможно, важная область науки или медицины, чего можно достичь?

Это прозрение ознаменовало начало конца моей профессиональной шахматной карьеры, но также посеяло первые семена того, чем, в конечном счёте, станет DeepMind, исследовательской компанией в области искусственного интеллекта (ИИ), соучредителем которой я стал в 2010 году. чемпионом мира или даже профессиональным игроком, навыки, которые я оттачивал, играя в шахматы, продолжали влиять на все аспекты моей жизни, и именно поэтому я всегда очень поддерживаю детей, обучающихся шахматам в рамках школьной программы. На самом деле шахматная связь даже отчасти способствовала привлечению нашего первого крупного инвестора. В 2009 году искусственный интеллект не был такой горячей темой, как сегодня, и мы пытались организовать встречу с известным венчурным капиталистом из Силиконовой долины, чтобы представить DeepMind. После многочисленных просьб нам в конце концов удалось получить приглашение выступить на конференции по искусственному интеллекту, где у нас была возможность ненадолго встретиться с ним. К сожалению, так поступили бы и сотни других, которые также хотели представить свою бизнес-идею. Я знал, что нам придется сделать что-то уникальное, чтобы выделиться из толпы, но не знал, что именно. Во время моего предыстории я прочитал, что он был сильным шахматистом, поэтому, когда наконец подошла наша очередь кратко поговорить с ним, я решил отказаться от подробностей компании, которую мы хотели создать, и вместо этого обсудить шахматы. Я сказал ему, что, по моему мнению, именно тонкий баланс слона и коня во множестве всех позиций, несмотря на их совершенно разную подвижность, создает динамическое напряжение в игре. Это была рискованная стратегия, но, должным образом заинтригованные и пробудившие его интерес, мы провели полноценную встречу на следующий день, и благодаря этому он инвестировал в компанию!

Наша цель в DeepMind — создать интеллектуальные системы, которые могут научиться решать любую сложную задачу самостоятельно, а затем использовать эту технологию, чтобы помочь найти решения некоторых из самых больших проблем общества и оставшихся без ответа вопросов. Иными словами, мы хотим раскрыть интеллект, а затем использовать его для решения всего остального. И на пути к этой конечной цели мы, как ни странно, используем игры.
 
Игры разрабатываются таким образом, чтобы людям было сложно их освоить, и обычно они представляют какой-то интересный аспект реального мира. Мы считаем, что это идеальная платформа для разработки и тестирования идей для алгоритмов ИИ. Очень эффективно использовать игры для разработки ИИ, так как вы можете проводить тысячи экспериментов параллельно на компьютерах в облаке и часто быстрее, чем в режиме реального времени, и генерировать столько обучающих данных, сколько нужно вашим системам для обучения. Обычно, у игр есть четкая цель или оценка, поэтому легко измерить прогресс алгоритмов, чтобы увидеть, постепенно ли они улучшаются с течением времени, и, следовательно, идет ли исследование в правильном направлении.
 
Используя этот подход, мы уже добились многих заметных успехов, включая DQN, алгоритм обучения, который достиг оценок экспертного уровня в ряде классических игр Atari, используя только лишь пиксели в качестве входных данных; а также AlphaGo, предшественница AlphaZero, которая стала первой компьютерной программой, когда-либо обыгравшей профессионального игрока в древней и сложной игре Го, что, по мнению многих, опередило свое время на десятилетие. Матч 2016 года, в котором AlphaGo выиграла у легендарного чемпиона Го Ли Седоля в Южной Корее, стал важной вехой для ИИ, но именно оригинальный способ игры AlphaGo полностью поразил экспертов.

Самой известной из этих новых идей был 37-й ход во второй партии, который, вероятно, войдет в историю го. Это был настолько немыслимый ход, что некоторые из лучших игроков в го, комментировавшие его в прямом эфире, подумали, что это, должно быть, какая-то ошибка, и все же более чем через 100 ходов камень оказался в идеальном стратегическом месте, чтобы решить исход игры. исход игры. После матча Ли Седоль сказал: «Когда я увидел этот ход… я [подумал], что AlphaGo — это, безусловно, созидательный элемент». открыло новую эру для Go.
 
Опираясь на успех AlphaGo, в 2017 году мы начали работу над нашим последним и самым амбициозным проектом, предметом этой книги, AlphaZero. В DeepMind мы считаем, что одним из ключей к ИИ является понятие общности, благодаря которому одна система способна хорошо выполнять самые разные задачи, как и мозг. AlphaZero была нашей попыткой обобщить AlphaGo для любой игры с идеальной информацией для двух игроков. И, конечно же, очевидной вещью, на которой нужно было попробовать это в первую очередь, были шахматы!
 
Связь между шахматами и ИИ так же стара, как и сама компьютерная наука. Первые гиганты вычислительной техники и некоторые из моих неизменных научных героев — Тьюринг, Шеннон, фон Нейман — все пробовали свои силы в написании шахматных программ. С личной точки зрения это также было чем-то вроде возвращения домой, возвращая меня к игре, которая впервые пробудила во мне интерес к интеллекту. Но и у меня были сомнения.
 
В отличие от Го, новаторская программа Deep Blue от IBM давно доказала, что шахматы могут быть освоены компьютерами. Впоследствии легион его преемников, в том числе Stockfish, Komodo и Houdini, стал необычайно сильным. Но все эти программы основаны на тысячах жестко запрограммированных правил и эвристик, кропотливо созданных вручную экспертами в течение многих лет работы. Напротив, AlphaZero не имеет ничего общего с этими программами. Он полностью самоучка и учится играть в шахматы полностью с первых принципов. Учитывая только правила игры, AlphaZero начинает с совершенно случайной игры и постепенно совершенствуется с помощью сложной версии процесса проб и ошибок, играя несколько миллионов игр против себя и постепенно учась на своих ошибках.
 
Когда мы начинали проект AlphaZero, было далеко не ясно, что программа такого типа может надеяться конкурировать со специальными шахматными движками ручной работы, на которые были потрачены десятилетия совокупных усилий некоторых из лучших компьютерных ученых и гроссмейстеров в мире. На самом деле я помню, как обсуждал этот вопрос с Мюрреем Кэмпбеллом, одним из первых инженеров Deep Blue, на конференции в начале 2016 года, перед матчем с Ли Седолем и до того, как мы запустили AlphaZero. Если бы современные шахматные движки уже достигли абсолютного верхнего предела, на котором можно было бы играть в шахматы, можно ли было бы их победить? Было ли в игре достаточно места, чтобы найти что-то большее, какое-то новое измерение? Мы оба не были уверены в ответах, и по моему опыту, такого рода научные вопросы, где любой результат был бы интересен, являются наиболее целесообразными.
 
Невероятно, но оказалось, что ответом на эти вопросы было твердое «да»! И всего через несколько часов обучения (хотя и с использованием большого кластера компьютеров) AlphaZero достигает феноменальной силы, которую вы увидите в партиях из этой книги, и, возможно, становится самой сильной шахматной программой в истории. Когда я впервые увидел некоторые из игр AlphaZero, я был поражен тем, как они играют, и я надеюсь, что вы тоже. С самого начала было ясно, что AlphaZero играет совершенно иначе, чем традиционные шахматные движки, с плавной, похожей на человека атакующей игрой. Для меня, как для человека, который любит шахматы, было что-то глубокое удовлетворение в том, чтобы наблюдать за появлением этого динамичного и эстетически приятного стиля игры, подтверждая, что в игре еще есть множество секретов, которые еще предстоит открыть.
 
В этой книге Мэтью и Наташа блестяще описали уникальный стиль игры AlphaZero. Они раскрывают захватывающие новые взгляды на все аспекты шахматы от подвижности фигур до безопасности короля, смелых жертв и многого другого, что, я надеюсь, будет интересно и полезно для шахматистов всех уровней. Обстоятельно поговорив с исследователями, которые разработали методы машинного обучения, лежащие в основе системы, Мэтью и Наташа получили глубокое понимание того, как «думает» AlphaZero, и я был впечатлен ясностью и простотой их объяснений технологии. Они также очень тщательно поместили эти современные идеи в их правильный исторический контекст, освещая читателя интригующими аналогиями со стилями великих чемпионов прошлого.
 
Я надеюсь, что партии и анализ, представленные в этой книге, помогут открыть новую эру творчества в шахматах, и что игроки не только включат некоторые из этих идей в свои игры, но и вдохновятся на поиск новых собственных стилей. Я с уверенностью могу засвидетельствовать, что благодаря этому проекту моя собственная страсть к шахматам возродилась, и мне было очень приятно вновь посетить старую область, которую я когда-то хорошо знал, но теперь смотрю через совершенно другим взглядом.
 
Конечно, эта книга не только о красоте шахмат, но и о невероятном потенциале ИИ. Я надеюсь, что после ее прочтения вы почувствуете некоторое ощущение чуда и восхищение, которые мы все испытываем, думая и работая над этими увлекательными темами каждый день. AlphaZero — это только начало для нас. Я надеюсь, что это дало вам возможность заглянуть в смелое и светлое будущее, где у нас есть множество систем обучения, подобных AlphaZero, помогающих нам как обществу находить новые прорывы в важнейших областях науки и медицины, как я когда-то мечтал, когда маленький мальчик в огромном шахматном зале, полжизни назад.

Демис Хассабис Лондон, октябрь 2018 год.

Источник: Game Changer AlphaZero’s Groundbreaking Chess Strategies and the Promise of AI (Matthew Sadler, Natasha Regan)