name: Модели обучения в экономических экспериментах
keyword_list: simulation methods adaptive learning, belief learning repeated games repeated-game strategies
abstract: Объект исследования: поведение экономических агентов в динамических условиях. Цель работы: проведение экспериментальной и структурной эконометрической оценки адаптивной реакции участников на стратегию с фиксированной сложностью в повторяющейся игре. Методы исследования: в работе утверждается, что существующие подходы к моделированию обучения ограничены в своих возможностях, и, в частности, они не учитывают то, в какой степени игроки способны когнитивно обрабатывать игровую динамику в играх с более чем двумя стратегиями. Чтобы учесть эти различия, обобщенная концепция обучения разрабатывается на основе стратегий и проверяется ее применение, включая эмпирическую идентификацию, в классе простых экспериментальных игр. В работе был поставлен и и проведен эксперимент, результаты которого подтверждают жизнеспособность этого методологического подхода: модели обучения, основанные на предложенной концепции, демонстрируют лучшую объяснительную силу по сравнению с классическими моделями. Далее в работе используется и расширяется моделирование (Salmon, 2001) которое показывает, что при кросс-модельном (или “слепом”) тестировании нескольких моделей данные, генерируемые этими моделями, не соответствуют оцененным параметрам. Таким образом, даже когда известен реальный процесс генерации данных, нет возможности отличить правильные модели от неправильных, глядя на оценки. Однако как продемонстрировано в работе, часть этих проблем может быть решена с помощью моделирования и проектирования экспериментального дизайна. В работе также предоставляется инструментарий численного моделирования для проверки слабой идентификации в любой конкретной экспериментальной выборке.Также в работе в рамках повторяющейся игры исследуется реакция испытуемых на поведение стратегически сложного противника. В работе моделируется этот противник как робот, который играет в стационарную стратегию с наложенным шумом, варьирующимся в четырех экспериментальных процедурах. Также данные обучения оцениваются через классические модели Reinforcement Learning (RL) и Fictitious Play (FP) и показывается, что классический подход к обучению на основе действий уступает подходу на основе стратегий. Достигнутые результаты: в работе представлен класс моделей обучения, которые позволяют избегать слишком больших потерь против произвольного противника, и в то же время могут изучать простые условные стратегии типа "Win-Stay-LoseShift"(т.е. стратегии, которые предписывают сохранять одно и то же действие, если оно было успешным в прошлом, и переходить к другому действию, если текущее было неуспешным). Также разработаны такие модели в контексте игры "камень-ножницы-бумага", но их можно без потери общности распространить на любую повторяющуюся игру с интервальным пространством действий (например, установление цены в олигополии). На основе (Salmon, 2001), было проведено прямое идентификационное тестирование модели обучения на примере наиболее общего класса моделей обучения, известного как гибридная Experience Weighted Attraction (EWA) (Camerer and Ho, 1999). Это общая многопараметрическая модель, в которую в качестве частных случаев встроены два наиболее популярных подхода - основанный на убеждениях (Fictitions Play, FP) и основанный на действиях (Reinforcement Learning, RL). В работе представлено воспроизведение основных результатов полученных Salmon, а также их расширение. Результат Salmon о том, что точечная идентификация в реалистичных экспериментальных условиях проблематична для EWA подтвержден и расширен, в частности выведены индексы для оценки идентифицируемости модели обучения. Показано, что если рассматривать только базовые спецификации, входящие в модель (отдельные точки гибридной модели), то их можно точечно идентифицировать. Чтобы отразить это обобщенное обучение, проведено различие между обучающимися на основе действий и обучающимися на основе стратегий, и разработаны эмпирически обоснованные критерии для проверки того, можно ли отнести участников к обучающимся на основе действий или на основе стратегий. Хотя сама концепция обучения на основе стратегий не нова ((Hanaki, 2004); (Ioannou and Romero, 2014)), по-видимому, впервые представлены и распространены на пространство игр с более чем двумя действиями формальные критерии для идентификации таких моделей. В работе выводятся условия дизайна эксперимента, удовлетворяющие таким критериям. В частности для апробации данного подхода предложен конкретный дизайн эксперимента с участием управляемого оппонента (робота), который заранее запрограммирован играть по определенной стратегии, неизвестной оппоненту-человеку. Также предложены и формализованы конкретные алгоритмы для класса обучения, основанного на стратегиях. Набор моделей для сравнения был отобран таким образом, чтобы в него были включены как модели обучения на основе убеждений а также обучения с подкреплением, так и модели обучения на основе действий и обучения на основе стратегий. в работе поставлен и проведен эксперимент, удовлетворяющий этим свойствам, с различными контрольными и экспериментальными группами характеризующихся различным уровнем шума (вероятность случайного хода, а не запрограммированной стратегии робота). В предложенном эксперименте участвовали 85 испытуемых, которые принимали индивидуальные решения: все они играли против робота в течение 100 раундов с целью распознать его стратегию и "победить"его при различных уровнях шума. Использовалось программное обеспечение oTree (Chen e.a., 2015). Экспериментальные данные свидетельствуют в пользу того, что: (a) многие люди способны победить запрограммированного искусственного противника; (b)обычно это происходит за 30-60 раундов, в зависимости от уровня шума; (c) часто, среди тех, чьё поведение можно охарактеризовать как выучившееся, испытуемые могут объяснить, чему они научились, обычно в терминах, основанных на убеждениях; (d) среди трех подчастей стратегии наилучшего ответа вида "win stay lose shift часть "lose shift"распознается легче остальных.. Эти наблюдения не являются слишком неожиданными сами по себе, но важнее то, что показано, что эмпирические паттерны обучения в этом контексте находятся в противоречии с моделями обучения на основе действий. Модель обучения, основанная на стратегии, напротив, объясняет это гораздо лучше, что подтверждается стратегиями испытуемых и симуляциями, которые позволяют нам сравнить, насколько хорошо различные модели работают в созданных экспериментальных условиях игры против робота. В наших симуляциях сравниваются стандартные модели, основанные на действиях (а именно, Fictitious Play и Reinforcement learning), с подходом, основанным на стратегиях. Результаты моделирования показывают, что: (a) предварительная экспериментальная проверка убедительно демонстрирует, что модели без параметров различимы в симуляции против робота, (b) модели, основанные на действиях, не способны адаптироваться к простым паттернам в действиях противника, (c) модели, основанные на стратегии, адаптируются к использованию запрограммированной простой стратегии на основе паттерна, (d) стратегическая модель, основанная на убеждениях, распознает такую стратегию быстрее, чем стратегическая модель с подкреплением. Еще один интересный результат требует синтеза результатов эксперимента и моделирования: скорость обучения человека наиболее близка к стратегической модели на основе подкрепления, модели на основе действий не учатся вообще, а стратегическая модель на основе убеждений учится слишком быстро. В качестве побочного продукта этого анализа можно сделать вывод о том, что предварительное экспериментальное моделирование является разумным дополнением к асимптотическим критериям, проверкой их применимости. Хотя они требуют  вычислительных мощностей, они позволяют проверить любой конкретный дизайн до того, как будут понесены фактические затраты на эксперимент, что, безусловно, будет полезным инструментом для любого экономиста-экспериментатора и может оказаться незаменимым для экспериментов по обучению в играх. Научная новизна: вклад данной диссертации начинается с обзорной главы, в которой рассматриваются и переосмысляются существующие классификации моделей обучения и свойства моделей, вытекающие из них. Помимо перечисления подходов, специфичных для данной литературы и традиционного для обзоров – анализа сходимости, в этом разделе дополнительно рассматриваются когнитивные аспекты обучения и их представление в моделях, а также связь между теоретической концептуализацией различных свойств моделей обучения и вопросами их эмпирической проверки/сравнения. Эмпирические вопросы более подробно обсуждаются в начале второй главы. Далее во второй главе представлены распространенные подходы к оценке моделей обучения, а также приведено обсуждение слабых сторон этих подходов и предложен новый способ избежать части подводных камней существующих исследований (а именно подход "horse race"). В частности, мы скрупулезно обсуждаем проблему "слабой идентификации"(Lewbel, 2019) для моделей обучения в схожих, с точки зрения ограничений выборки, условиях, что и у (Bojinov et al., 2020). Из общих критериев, предложенных в (Matzkin, 2005, 2007), мы выводим численный критерий "simulation ratio"(SM) специально для работы с обучающимися моделями и проверяем его работу в условиях близких к (Salmon, 2001). Salmon (2001) в своей работе приходит к выводу, что модель обучения EWA не может быть правильно идентифицирована с помощью статистических критериев и процедур, используемых в оригинальных работах. В диссертационном исследовании сделан следующий шаг и показано, что для данного размера выборки модель обучения EWA вообще не может быть идентифицирована никаким тестом через информацию, полученную из функции правдоподобия. Таким образом, предложенная процедура и численный показатель SM доступны для оценки любого произвольного набора моделей обучения (как вложенных моделей типа семейства EWA, так и различных моделей) и используются в работе для оценки идентифицируемости стратегических моделей обучения в Главе 3. В работе также развивается подход повторяющихся стратегий в обучении. Хотя подход, предложенный (Hanaki, 2004), уже был протестирован (Ioannou and Romero, 2014) в играх 2 на 2, его реализация была ограничена для использования в играх с большим пространством действий как с точки зрения необходимости "обучения модели"2 , так и с точки зрения вычислительных ограничений ресурсов испытуемых. В предыдущих исследованиях (например, в турнире Аксельрода) реализация повторяющихся стратегий рассматривалась через призму эволюционной теории, и такие стратегии понимались как исчерпывающий алгоритм действия в различных ситуациях, неделимый на более мелкие части. Например, стратегия "око за око"для дилеммы заключенного может быть воспринята как инструкция к действию в двух различных контекстах: игрок-соперник сотрудничает или отказывается от сотрудничества. Именно поэтому (Ioannou and Romero, 2014) модели обучения используют повторяющиеся стратегии в качестве основы и работают со стратегиями целиком. Однако мы показали, что разделение повторяющихся стратегий на небольшие составные части (мы назвали это “элементарными стратегиями”) имеет ряд сравнительных преимуществ с точки зрения моделирования. Во-первых, концептуально это позволяет обучающемуся строить сложный паттерн “на лету” в процессе обучения, что достаточно упрощает вычисления и даже, как мы покажем в конце первой главы, может быть реализовано в играх с непрерывным пространством действий. Во-вторых, сравнение моделей может быть нетривиальным. Принимая это во внимание, более простую концептуализацию повторяющихся стратегий легче проверить эмпирически. Например, представим две специально упрощенные модели для игры "Битва полов": стратегическую и основанную на действии. Стратегическая модель знает, как выбрать между чередованием на четных периодах и чередованием на нечетных периодах. Модель на действии повторяет действие соперника, если оно было успешным (имитация), а если нет, то рандомизирует. Если реальные испытуемые через некоторое время после начала повторяющейся игры "Битва полов"будут сотрудничать на практике, то для нас эти две модели в качестве объяснения будут эмпирически неразличимы. Исследуя эту проблему в целом, во второй главе мы показываем, как концептуализация повторяющихся стратегий через “элементарные стратегии” может быть эмпирически отделена класса алгоритмов от основанного на действии посредством экспериментального вмешательства. Это возможно, если экспериментатор “зафиксирует” поведение одного из игроков в паре так, чтобы он пользовался стратегией с фиксированной сложностью. В главе 3 это достигается через лабораторный эксперимент и использование робота-оппонента (что, однако, не означает, что робот нужен на практике, поскольку в рамках эксперимента мы исследуем свойства реальных испытуемых как "learner а они одинаковы и в лаборатории, и вне ее). Мы используем шум в действиях робота для того, чтобы разорвать цикл выигрышей, в который игрок может попасть “случайно” в некоторых раундах. Мы наблюдаем увеличение частоты успешных “элементарных стратегий” в разные периоды игры (от раннего к позднему), а также вербализацию этих стратегий в постэкспериментальной анкете. Поведение участников демонстрирует правильную адаптивную реакцию, однако результаты эксперимента можно трактовать шире, что “элементарные стратегии“ сохраняются в памяти участников как отдельные несводимые элементы. Наконец, зарегистрированные данные о динамике обучения, полученные в этой работе, методологический анализ реакции человека на робота-оппонента и концептуальный пересмотр поведения игроков в игре "Камень-ножницы-бумага"(Wang et al., 2014) ценны сами по себе. Внедрение: в работе предлагается стратегическое расширение классических моделей обучения, учитывающее этот поведенческий факт, и проверяется его практическое применение на собранных экспериментальных данных, также формируется процедура дополняющая  асимптотические критерии, и являющаяся с другой стороны проверкой их применимости. Эффективность: главы диссертации охватывают все этапы эксперимента, но вторая глава играет центральную роль и является главным концептуальным вкладом диссертации. Более конкретно, она предлагает критерий разграничения различных моделей обучения и описывает эмпирическую стратегию для этого в контексте конкретной экспериментальной игры (Камень-ножницы-бумага). Наконец, в работе предлагается дизайн и анализ результатов эксперимента с опорой на предложенный критерий. В работе на основании данных делается вывод, что использованное конкретное расширение классических моделей обучения на стратегическое обучение отслеживает поведение человека заметно лучше, чем базовые модели. Область применения: современная экономика все больше становится экспериментальной наукой. Лабораторные и полевые эксперименты, естественные и квазиэксперименты повсеместно встречаются в экономической литературе. Результаты экспериментов проливают свет на широкий круг вопросов, начиная от индивидуальной рациональности, эвристик и предубеждений и заканчивая эффективностью и реализацией программ государственной политики. Одна из основных целей экспериментальных исследований - улучшить наше понимание механизмов и причин принятия конкретных экономических решений. Однако до сих пор прогресс в этом направлении ограничен. С одной стороны, человеческие решения представляют собой результат сложных, многомерных процессов, большинство из которых остаются ненаблюдаемыми или неидентифицируемыми для наблюдателя. С другой стороны известно, что люди, принимающие решения, являются ограниченно рациональными и лимитированными в своих вычислительных ресурсах когда речь заходит об определении своих лучших стратегий даже в относительно простых стратегических ситуациях, не говоря уже о расшифровке стратегических намерений другого игрока (игроков). В основе всех этих проблем лежит проблема постепенного накопления знаний в процессе взаимодействия, т.е. стратегического обучения.
chairman_dissertation_council.name: Светлана
chairman_dissertation_council.surname: Авдашева
chairman_dissertation_council.patronymic: Борисовна
chairman_dissertation_council.position: Профессор
chairman_dissertation_council.degree: Доктор экономических наук
chairman_dissertation_council.rank: Профессор
chairman_dissertation_council.wos_research_id: K-1147-2015
chairman_dissertation_council.scopus_author_id: 7801623030
chairman_dissertation_council.rinc_id: 3464-3387
chairman_dissertation_council.orcid: 0000-0002-0896-9217
chairman_dissertation_council.territory: РОССИЯ
organization_supervisor.name: Вадим
organization_supervisor.surname: Радаев
organization_supervisor.patronymic: Валерьевич
organization_supervisor.position: Первый проректор
organization_supervisor.territory: РОССИЯ
rubrics.code: 06.39.21
rubrics.name: Экономическая кибернетика
rubrics.code: 06.03.07
rubrics.name: Общие экономические теории
oecds.code: 05.02.GY
oecds.name: ECONOMICS
speciality_codes.name: Экономическая теория
speciality_codes.code: 08.00.01
supervisors.fio: Белянин А.В.
supervisors.scientific_degree: Кандидат экономических наук
supervisors.speciality_code: Экономическая теория
supervisors.responsible_type: Научный руководитель
protection_organization.short_name: НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", НИУ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", ВЫСШАЯ ШКОЛА ЭКОНОМИКИ, НИУ ВШЭ, ВШЭ
protection_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ"
protection_organization.ogrn: 1027739630401
protection_organization.supervisor_name: НИКИТА
protection_organization.supervisor_surname: АНИСИМОВ
protection_organization.supervisor_patronymic: ЮРЬЕВИЧ
protection_organization.organization_type: Организация
protection_organization.okogu: Правительство Российской Федерации
protection_organization.okopf: Федеральные государственные автономные учреждения
author_organization.short_name: НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", НИУ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", ВЫСШАЯ ШКОЛА ЭКОНОМИКИ, НИУ ВШЭ, ВШЭ
author_organization.name: ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ"
author_organization.ogrn: 1027739630401
author_organization.supervisor_name: НИКИТА
author_organization.supervisor_surname: АНИСИМОВ
author_organization.supervisor_patronymic: ЮРЬЕВИЧ
author_organization.organization_type: Организация
author_organization.okogu: Правительство Российской Федерации
author_organization.okopf: Федеральные государственные автономные учреждения