AlphaStar (искусственный интеллект)
AlphaStar — программа, играющая в StarCraft II, разработанная компанией DeepMind при сотрудничестве с Blizzard Entertainment, ставшая первым ИИ, достигнувшим уровня лучших игроков в киберспортивной дисциплине при отсутствии специальных ограничений. Проект был анонсирован в 2016 году. В конце 2018 года был проведён ряд тестовых матчей против профессиональных игроков, закончившийся чистой победой ИИ, а в 2019 году AlphaStar принял участие в рейтинговом режиме StarCraft II, в результате чего достиг высшего внутриигрового ранга лиги — грандмастера.
Принцип работы[править | править код]
AlphaStar является искусственной нейронной сетью, при создании которой использовались методы глубокого обучения — с подкреплением и с учителем (в качестве тренировочного набора данных использовались записи игр живых людей, предоставленные Blizzard Entertainment)[1]. Также в процессе игры используются статистические данные о том, как в текущей ситуации поступали живые люди[2]. Нейросеть получает на вход набор мини-карт с различными фильтрами, генерируемый API, и составляет на основе них цепочку последующих действий[3].
История[править | править код]
На фестивале BlizzCon 2016 был анонсирован совместный проект Blizzard Entertainment и DeepMind по созданию искусственного интеллекта для игры в StarCraft II. В рамках сотрудничества компания Blizzard начала разработку набора программных инструментов, позволяющего стороннему искусственному интеллекту полноценно взаимодействовать с игрой, а также поставляла DeepMind записи всех сетевых матчей, сыгранных живыми людьми, в качестве данных для обучения[4]. В августе 2017 года была завершена работа над открытым API для StarCraft II в виде приложения для операционных систем Linux, предоставляющего доступ к игровой информации, в том числе к игровому счёту, доступному игроку только по окончании игры. Вместо отрисовки графики игры приложение генерирует набор мини-карт с различными фильтрами, которые должны покадрово подаваться на вход искусственному интеллекту, вычисляющему на основании них последовательность дальнейших действий. Также была реализована возможность вести сражения между несколькими ботами в оффлайн-режиме и создан ряд тренировочных сценариев, таких как сбор ресурсов, движение юнитов, постройка зданий и других. Компания DeepMind выпустила библиотеку для Python, связывающую StarCraft II и реализации систем машинного обучения[3]. Следом был опубликован препринт в блоге DeepMind, рассказывающий о первых результатах. Существовавшая на тот момент времени версия искусственного интеллекта проигрывала встроенному лёгкому ИИ в подавляющем большинстве случаев, а редкие случаи ничьих были вызваны заранее установленным искусственным ограничением длины партии в 30 минут. ИИ DeepMind научился использовать способность строений терранов взлетать и перемещаться по карте для уклонения от армии соперника и доведения игры до ничьей[5].
После обучения с использованием записей игр живых людей, нейросеть научилась обыгрывать самый сложный из доступных встроенных ИИ в 95% случаев. Полученная версия искусственного интеллекта играла сама с собой в течение 14 дней реального времени, что эквивалентно 200 годам игры в StarCraft II. Изначально искусственный интеллект DeepMind активно использовал раш, пытаясь достичь быстрой победы строительством большого числа сравнительно дешёвых юнитов, однако со временем научилась отбиваться от таких атак и уделять внимание и другим аспектам игры, в том числе экономическому развитию[6][1]. Помимо основной версии искусственного интеллекта, в процессе обучения были разработаны «игроки-помощники», задачей которых было придумывать креативные и необычные стратегии атаки. Их процент побед был невелик, однако они помогли лучше обучить искусственный интеллект[2].
19 декабря 2018 года был проведён ряд тестовых матчей между разработанной версией искусственного интеллекта, получившего название AlphaStar, и киберспортсменами Дарио «TLO» Вуншем и Гжегожем «MaNa» Коминчем, в матчапе PvP (протосс против протосса)[7]. Каждого из киберспортсменов AlphaStar обыграла со счётом 5:0. У искусственного интеллекта было преимущество: в то время как человек видел только то, что происходит на экране, AlphaStar видел всю карту. Внезачётный матч против MaNa, в котором AlphaStar играла с обычным ограничением видимой области, нейросеть проиграла, однако разработчики отмечают, что в таком режиме нейросеть тренировалась всего неделю[1]. Кроме того, поскольку искусственный интеллект на тот момент умел только играть в матчапе PvP, TLO пришлось играть за протосса, а не за свою основную расу — зерга[7].
В июле 2019 года AlphaStar начал анонимно играть рейтинговые матчи против живых игроков, разрешивших игру против ИИ в интерфейсе игры. Метод подбора соперников для искусственного интеллекта и алгоритм вычисления его рейтинга был аналогичен таковым для живых игроков. На AlphaStar были наложены бо́льшие ограничения, чем в декабре: искусственный интеллект мог видеть происходящее только в рамках небольшой перемещаемой области, аналогичной камере игроков, а также были наложены большие ограничения на число действий в минуту (APM). Данная версия искусственного интеллекта могла играть за все три расы во всех девяти матчапах[8]. В результате AlphaStar достиг высшего игрового ранга — грандмастера, который имеют 200 лучших игроков региона (примерно 0,2%) — за все три расы[9]. Дэвид Силвер, исследователь из DeepMind, отмечает, что AlphaStar стал первым ИИ, достигнувшим уровня лучших игроков в киберспортивной дисциплине при отсутствии специальных ограничений[10].
На фестивале BlizzCon 2019 был выставлен компьютер, за которым любой желающий мог сыграть против AlphaStar. Среди сыгравших был действующий чемпион мира Йоона «Serral» Сотала, чья игра против искусственного интеллекта закончилась поражением со счётом 1:3. Данный результат нельзя считать серьёзным, так как, во-первых, Serral использовал непривычные периферийные устройства, во-вторых, матч не был организован специально и прошёл по личной инициативе Йооны[11].
Критика[править | править код]
Несмотря на то, что разработчики ограничили число действий в минуту достижимым для человека значением, AlphaStar остаётся необычайно быстрым для человека, поскольку человек при игре использует повторяющиеся приказы и может совершать импульсивные необдуманные действия, не имеющие значения, в то время как все действия ИИ остаются точными. Так, в бою с большим количеством юнитов AlphaStar успевает отдавать индивидуальные команды каждой боевой единице со скоростью и точностью, недоступной живому человеку[12][13]. Комментатор Алексей «Alex007» Трушляков также отмечает, что искусственный интеллект не понимает смысла некоторых приёмов живых игроков и не всегда корректно копирует их[14].
См. также[править | править код]
Примечания[править | править код]
- ↑ 1 2 3 Николай Воронцов. Нейросеть AlphaStar одолела профессиональных игроков в StarCraft II. N+1 (25 января 2019). Дата обращения: 4 января 2020. Архивировано 11 декабря 2019 года.
- ↑ 1 2 Александр Ершов. Инженеры Google научили искусственный интеллект играть в Starcraft II. Теперь в мире осталось всего несколько человек, которые могут с ним соперничать. Meduza (31 октября 2019). Дата обращения: 4 января 2020. Архивировано 1 ноября 2019 года.
- ↑ 1 2 Тарас Молотилин. Blizzard открыла StarCraft 2 для обучения машин. N+1 (10 августа 2017). Дата обращения: 4 января 2020. Архивировано 15 ноября 2019 года.
- ↑ Christina Kelly. Google's DeepMind AI takes on StarCraft II (англ.). ESPN (24 ноября 2016). Дата обращения: 4 января 2020. Архивировано 25 апреля 2019 года.
- ↑ Тарас Молотилин. DeepMind обучила нейросеть игре в StarCraft 2. И она проиграла легкому боту. N+1 (11 августа 2017). Дата обращения: 4 января 2020. Архивировано 15 ноября 2019 года.
- ↑ The AlphaStar team. AlphaStar: Mastering the Real-Time Strategy Game StarCraft II | DeepMind (англ.). DeepMind (24 января 2019). Дата обращения: 24 января 2019. Архивировано 24 января 2019 года.
- ↑ 1 2 SLAVCRAFT. AlphaStar и будущее киберспорта. Gmbox.ru (25 января 2019). Дата обращения: 4 января 2020. (недоступная ссылка)
- ↑ Ron Amadeo (2019-07-11). "DeepMind AI is secretly lurking on the public StarCraft II 1v1 ladder". Ars Technica. Архивировано 3 декабря 2019. Дата обращения: 4 января 2020.
- ↑ Коняшин Андрей. Искусственный интеллект от Google вошёл в топ-200 лучших игроков в StarCraft 2. Gmbox.ru (1 ноября 2019). Дата обращения: 4 января 2020. Архивировано из оригинала 1 ноября 2019 года.
- ↑ Ian Sample. AI becomes grandmaster in 'fiendishly complex' StarCraft II (англ.). Guardian (30 октября 2019). Дата обращения: 8 февраля 2019. Архивировано 29 декабря 2020 года.
- ↑ Izzard. На задворках BlizzCon'а: итоги WCS Global Finals 2019. GoodGame.ru (5 ноября 2019). Дата обращения: 4 января 2020. Архивировано 15 января 2020 года.
- ↑ Timothhy B. Lee. An AI crushed two human pros at StarCraft—but it wasn’t a fair fight (англ.). Ars Technica (30 января 2019). Дата обращения: 4 января 2020. Архивировано 5 декабря 2019 года.
- ↑ Ben Dickson. Unfair Advantage: Don't Expect AI to Play Like a Human (англ.). pcmag.com (8 марта 2019). Дата обращения: 4 января 2020. Архивировано 2 апреля 2019 года.
- ↑ Артем Ращупкин. Alex007 о ботах в StarCraft II: «ИИ можно задавить высоким уровнем игры или взять свое хитростью» (англ.). Канобу (3 ноября 2019). Дата обращения: 4 января 2020. Архивировано 4 августа 2020 года.