ИИ в Enlisted: реакция на ситуацию

Сегодня мы расскажем о "Situation awareness" — важной составляющей ИИ в Enlisted. Конкретнее — о том, как мы учим бойцов вашего отряда лучше определять опасности и приоритетные цели.

Начнём этот дневник с важной оговорки: как обычно и принято в играх, под «ИИ» мы подразумеваем набор алгоритмов, позволяющий бойцам вашего отряда самостоятельно принимать решения.

После плейтеста «Битвы за Москву» мы продолжили работу над интеллектом ваших компьютерных боевых товарищей. Мы учим их преодолевать препятствия, правильнее следовать командам командира, использовать укрытия и даже отбрасывать гранаты. Последний открытый тест позволил нам определиться с самыми важными векторами развития ИИ, одним из которых является оценка опасностей и целей.

Система накопления опасности “Aggro meter”

На протяжении двух прошедших плейтестов вы играли с ИИ солдатами, которые использовали оптимизированную в сторону производительности систему “Aggro meter”. Она накапливала показатель «опасности» на видимых бойцу целях, которые наносили им урон или убивали их сокомандников. Система работала, но не показывала себя идеально в ситуациях с целями, которые имели низкий уровень «опасности», но при этом были более досягаемыми для огня. Взвесив все «за» и «против», мы решили полностью переработать систему в пользу иного подхода, который называется “Utility Function”.

Вектора направлены на других бойцов и отображают суммарный вес опасности с указанного направления.

Так ИИ-бойцы отрядов видят и оценивают опасность.

Новый алгоритм “Utility Function” и машинное обучение

Если выражаться технически, то новый алгоритм — это набор математических функций над входными значениями. Финальная функция позволяет ИИ взвесить входные значения и получить результат в виде одного числа — опасности противника. И уже по этой опасности противника ИИ-боец сортирует свои цели. Такой подход открывает для нас большое количество параметров, которые можно настраивать, а следовательно — вмешиваться в поведение ИИ даже в рамках одной сессии!

Для вас всё это означает, что ИИ-бойцы отряда, выбирающие цель с помощью алгоритма “Utility Function”, стали более отзывчивыми в условиях быстро меняющейся обстановки боя. Уже первые внутренние тесты показали, что действия солдат стали заметно более похожи на действия игроков: они быстрее реагируют на опасность, охотнее переключаются между целями.

Что особенно интересно, в новом алгоритме мы увидели потенциал для машинного обучения, которое позволит постоянно совершенствовать поведение бойцов. 

Можно сказать, что одна система искусственного интеллекта (с применением машинного обучения) обучает модуль другого искусственного интеллекта (модуль выбора целей) быть более эффективным в бою и показывать лучшие результаты.

Мы все ещё выбираем подходящие критерии для обучения и, вероятно, будем тренировать ботов под разные задачи — и выживание, и результативность. Допустим, боец в обороне должен выбирать ту цель, от которой исходит наибольшая угроза, а в атаке — ту цель, которую проще всего убить. Понятно, что эти цели далеко не всегда совпадают. Обучение позволит нам совместить текущие наработки в сфере ИИ и с пользой применить их в будущем для улучшения поведения бойцов на поле боя.

Потенциал обучения ИИ в Enlisted

На практике уже сейчас мы в каждой игровой сессии имеем огромный поток данных, чтобы в реальном времени обучать ботов предсказывать, откуда может появиться опасность и соответствующим образом выбирать направление взгляда. Мы уже используем алгоритм для поиска скопления событий во время боя, чтобы выбирать направление взгляда бота, но дальнейшее обучение на реальных данных о том, как играют игроки, позволит сделать эту систему гораздо более мощной! Также расставленные инженерами приоритеты для ИИ не идеальны в каждой ситуации и на каждой локации — здесь мы также видим потенциал для применения машинного обучения. Нам очень помогает то, что за каждые сутки открытого тестирования мы можем собирать большой массив данных для обучения ботов лучшему выбору приоритетов. Даже прицеливание ботов может быть улучшено путём обучения ИИ технике прицеливания живых игроков.

Это только начало нашего пути по улучшению игрового ИИ с помощью машинного обучения. Скоро мы расскажем вам, как учим компьютерных бойцов укрываться от вражеского огня. Следите за разработкой Enlisted, мы будем продолжать держать вас в курсе самых последних новостей!