MuZero, новый искусственный интеллект от DeepMind, способен стать мастером в различных играх, изначально не зная их правил - «Наука и технологии»

На страницах нашего сайта мы в свое время уделили достаточно много внимания компании DeepMind из Лондона, которая является филиалом Alphabet, другими словами, компании Google. Эта компания получила широкую известность в 2016, когда разработанная ею система искусственного интеллекта AlphaGo, самообучившись на миллионах виртуальных игр, приобрела такую степень мастерства в китайской игре Го, что ей не смог серьезно противостоять даже чемпион мира по этой игре. В 2018 году более совершенная система искусственного интеллекта AlphaZero добилась подобных результатов сразу в трех типах логических игр, Го, шахматах и японских шахматах Сеги. А теперь компания DeepMind представляет свое очередное творение, систему MuZero, которой для обучения и приобретения мастерства в какой-нибудь игре даже не требуется изначальное знание правил этой игры.

Обучение системы MuZero начинается с того, что система делает первый шаг (или ход), изучая варианты, которые позволяют правила игры. Одновременно с этим система анализирует "бонусы", предоставляемые игрой за правильное действие, в случае игры "Pac-Man" это съеденные желтые точки, а в случае шахмат - это приближение к выигрышному финалу. После этого система начинает совершенствовать свои навыки, постоянно атакуя противника и пытаясь получить большее количество бонусов.

Одновременное изучение правил и совершенствование уровня игры позволяет системе MuZero продемонстрировать огромное превосходство в эффективности и "экономичности" использования данных по сравнению с предыдущими версиями этой системы. Однако, это имеет и обратную сторону, для полноценного обучения системе MuZero требуются достаточно большие вычислительные ресурсы. Но, уже после обучения система нуждается в малом количестве вычислительных ресурсов, она способна быстро принимать правильные решения, даже используя весьма ограниченные аппаратные средства не самого мощного из существующих смартфонов.