Ученые описали принцип работы системы искусственного интеллекта, выигравшей у профессионалов 1,7 млн долларов в покер

В январе 2017 года система искусственного интеллекта Libratus победила в турнире по техасскому холдему.

Во время турнира, который длился 20 дней, алгоритм заработал более 1,7 миллиона долларов в фишках. В новой статье, опубликованной в журнале Science Ноэм Браун (Noam Brown) и Туомас Сандхолм (Tuomas Sandholm), разработчики Libratus, описали, как работает алгоритм, сообщает nplus1.

Libratus состоит из трех основных частей. Для первых кругов покера используется модуль, который рассматривает игру как абстракцию. Вместо того, чтобы учитывать все точки принятия решений, число которых достигает 10161, он упрощает игру. Так, Libratus округляет ставки и не делает различий между похожими карточными комбинациями, например флэшем с королем во главе и флэшем, где старшая карта — дама. После создания абстракции, компьютер разрабатывает плановую стратегию поведения для первых кругов, а также очень приблизительную стратегию для следующих этапов.

Чтобы научиться делать это, Libratus играл против самого себя, используя измененную версию алгоритма Monte Carlo Counter-factual Regret Minimization (MCCFR). С его помощью для каждого действия вычислялось значение сожаления — то, насколько игрок сожалеет о том, что он не сделал определенный шаг в прошлом. В классическом варианте компьютер обычно исследует все гипотетические действия, чтобы выяснить размер награды за них; здесь же он пропускал "неинтересные" ходы, которые имели низкое значение сожаления, что позволило быстрее усовершенствовать его работу.

Для следующих этапов игры использовался второй модуль Libratus. Он создавал детальную стратегию для конкретного этапа игры, руководствуясь при этом плановой стратегией, разработанной в начале. Каждый раз, когда противник совершал не предусмотренное системой ИИ действие, она разыгрывала "мини-игру", где учитывался ход соперника. Это позволяло корректировать стратегию в режиме реального времени.

Третья часть Libratus улучшала исходную стратегию алгоритма. Обычно для этого строится модель поведения противника, которая учитывает его возможные ошибки. Однако в этом случае компьютер следил, какие ставки чаще всего делают другие игроки, а ночью вычислял возможные варианты развития событий с учетом этих данных.

Авторы статьи считают, что у систем, подобных Libratus, большое будущее в самых разных сферах, где приходится иметь дело с неполной информацией. Они могут быть использованы в сфере информационной безопасности, в военном деле, аукционах, переговорах и даже при распределении медикаментов.