LITMIR.BIZ

      Придумывать механизмы для реализации локальных тактик обучения просто, ибо награда в каждом случае зависит только от отношений между агентом и его руководителем. Реализовать глобальную схему обучения труднее, поскольку требуется, чтобы механизмы выясняли, какие агенты действуют во имя первоначальной цели посредством цепочек достижения промежуточных целей. Локальная схема сравнительно великодушна к Чарльзу и вознаграждает его всякий раз, когда он выполняет то, о чем его просят. Глобальная схема оказывается «скареднее», она не поощряет Чарльза, даже пускай тот делает то, о чем просит руководитель, если его действия не вносят вклад в достижение цели высшего уровня. В такой схеме агенты зачастую не получают опыта. Соответственно глобальная тактика подразумевает более медленное обучение.

      Обе схемы имеют свои преимущества. Осторожность глобальной тактики уместна, когда цена ошибки чрезвычайно высока или когда система располагает запасом времени. Она способна обеспечить более «ответственное» поведение, поскольку побуждает Чарльза научиться своевременно и самостоятельно проверять ассортимент, а не просто подчиняться указаниям Билла. При этом глобальная тактика не позволяет оправдывать личные упущения фразами вроде: «Я только выполнял распоряжение своего начальника». С другой стороны, локальная тактика ведет к мгновенному усвоению многих знаний, ибо каждый агент имеет возможность постоянно улучшать свою способность добиваться локальных целей, независимо от того, как те соотносятся с целями других агентов. Конечно, наши агенты обладают сразу несколькими вариантами действий. Какие именно они выбирают, зависит от состояния в конкретный момент времени других агентов, чья работа заключается в том, чтобы узнавать, какими стратегиями обучения пользоваться в зависимости от обстоятельств.

      Глобальная схема требует способа не только выявлять тех агентов, чьи действия помогли справиться с задачей, но и определять, какие агенты помогли при реализации промежуточных целей. Например, в ходе строительства башни может оказаться полезным отодвинуть какой-то кубик, чтобы освободить место для другого. Возникает желание запомнить, что это движение помогает в строительстве башни; но если умозаключить из этого, что такое движение полезно всегда, нам никогда не построить другую башню. Когда мы решаем трудную задачу, обычно мало выяснить, правильными или неправильными были действия конкретного агента для достижения общей цели; необходимо, чтобы такие суждения хотя бы в малой степени зависели от локальных условий, то есть от того, насколько деятельность каждого агента помогала или мешала работе других. Эффект вознаграждения должен заключаться в том, чтобы заставить агента реагировать тем образом, который помогает достижению определенной

Скачать книгу