Команда шахматного суперкомпьютера Deep Blue тестирует машину для нардов

В исследовательском центре T.J. Watson Research Center корпорации IBM, где был создан шахматный суперкомпьютер Deep Blue, разработана машина для игры в нарды.

В отличие от играющего в шахматы Deep Blue, на этой машине работает не обычная компьютерная программа, а нейронная сеть, использующая метод самообучения с временными разностями. Эта машина, получившая название TD-Gammon, выиграла у игроков-людей на турнире, огранизованном Американской ассоциацией искусственного интеллекта (American Association of Artificial Intelligence, AAAI), 99 партий из 100. Она проиграла только чемпиону мира по нардам Малколму Дэвису. По словам создателей TD-Gammon, ее успехи столь впечатляющи, что возродили интерес к системам, использующим такую схему обучения.

В играх типа нардов, где все зависит от последовательности ходов, обычно до конца не ясно, какой именно ход способствовал общей победе, а какой вел к проигрышу. Метод временных разностей был создан для компенсации этого "недостатка". Каждый ход инициирует "сигнал ошибки", распространяющийся во времени назад. Исходя из конечного результата (победы), происходит "настройка" поведения машины - всем совершенным ходам приписываются свои веса. Машина постоянно "оглядывается" и учитывает предыдущий опыт, засчитывая все ходы, ведущие к конечной победе. Понятно, что ходы в конце игры являются намного более "выигрышными" или "проигрышными", чем в начале или в середине игры. Такой метод настройки во времени последовательных ходов позволяет различать ходы, помогающие победить в игре, и ходы, ведущие к поражению.

Муррей Кэмпбелл (Murray Campbell), один из участников команды IBM Deep Blue, полагает, что будет весьма интересно скомбинировать "оценочную" функцию нейронной сети, в том виде как она реализована в TD-Gammon, с программой поиска "выигрышного" хода как в шахматных программах. Однако, он считает, что реализация самообучающейся нейронной сети в шахматной программе, будет более сложной задачей.

Источник: InfoArt.ru