Команда проекта OpenAI выпустила видео и блог с описанием прогресса за год. В прошлом году Open AI выпустила ИИ, который смог обыграть в игре 1 на 1 лучших игроков в Dota 2. Подробнее об этом событии и о том, что такое Dota 2 и почему ИИ стали тренировать для игры в современные компьютерные можно прочитать в моей прошлогодней колонке для RusBase. За год, прошедший с прошлого чемпионата по Dota 2 – The International, разработчики OpenAI смогли сделать из пяти ИИ полноценную команду, для того, чтобы сразиться в игре 5 на 5.
Презентация команды
Команду назвали OpenAI Five и она уже начала побеждать любительские команды в Dota 2. На текущий момент в правилах игры против ботов все еще присутствуют ограничения, но разработчики обещают полностью убрать их к финалу The International в августе. OpenAI Five тренируется, играя сама с собой по 180 лет ежедневно, таким образом ИИ учится становиться лучше в игре. Команда тренируется с использованием расширенной версии Proximal Policy Optimization, работающей на 256 графических процессорах и 128 000 процессорных ядрах.
В этом видео отчете показано необычное поведение ботов, которого удалось добиться в процессе тренировок.
В блоге разработчиков можно почитать о том, как они добились сыгранности командной игры от 5 независимых ИИ игроков. Для этого был разработан отдельный показатель командной координации, который можно менять в промежутке от 0 до 1, тем самым изменяя ориентацию игрока с индивидуальной на командную.
Чтобы оценить прогресс OpenAI, 5 августа будет проведен матч против лучших игроков в мире. Трансляцию можно будет посмотреть на Twitch канале OpenAI.