September 18, 2019

Как-то я вчера не разглядел, а OpenAI показали результаты довольно простого эксперимента, на который я теперь часто буду ссылаться. Они построили модель мира, в которой виртуальные боты-игроки играют в прятки-догонялки, т.е. условно физический мир в котором одни боты делают все чтобы их не нашли другие. Боты, разумеется, обучались с подкреплением, запоминая какие их действия с большей вероятностью приводили к победе. И научились довольно неплохо прятаться, используя подручные предметы. А потом исследователи стали усложнять правила, добавляя новые обьекты, позволяя перелазить через некоторые стены и тд, не меняя конфигурацию изначальной сети. И каждый раз боты выбирали новую оптимальную стратегию чтобы прятаться или искать. Обязательно посмотрите видео по ссылке, оно того стоит!

Почему этот эксперимент так важен? Потому что это показательная история: для первоначальных простых условий не стоило бы писать нейронную сеть и вообще ИИ, достаточно было описать очень простые алгоритмы, которые эффективно решали бы задачу. Но чем сложнее становились условия, тем эффективнее было именно решение с ИИ. Так и в жизни происходит. Часто велик соблазн решить задачу по-старинке, без всяких там умностей. Но по мере усложнения задачи все больше смысла в том, чтобы использовать ИИ. А задачи у нас все сложнее и сложнее. openai.com/blog/emergent-tool-use/

Emergent Tool Use from Multi-Agent Interaction

We've observed agents discovering progressively more complex tool use while playing a simple game of hide-and-seek.