Анализ сравнительной эффективности школ с помощью многоуровневых и агент-ориентированных моделей

© Сучкова Ольга, группа э620 экономического факультета МГУ им. М. В. Ломоносова

За 30 лет исследований, посвящённых сфере образования, были созданы модели, оценивающие сравнительную эффективность школ. Наиболее популярными являются «многоуровневые модели» (Multilevel Models - MLM), поскольку они позволяют анализировать данные с иерархической структурой, с двумя и более «уровнями» (например, ученики и школы). Однако, несмотря на свою сложность, MLM не объясняют причинно-следственные связи исследуемых явлений. В таком случае альтернативой могут стать агент-ориентированные модели (agent-based models - ABM), учитывающие взаимодействия индивидов друг с другом и с внешней средой (например, учеников в классе и вне школы). Авторы статьи ( Salgado, Marchione and Gilbert) оценивают эффективность школ с помощью MLM, затем предлагают объяснения с помощью ABM и сравнивают полученные результаты.

Применение MLM основано на предположении, что достижения учеников могут быть обусловлены двумя эффектами (на двух «уровнях»): характеристиками самих учеников (независимо от школы) и эффектом школы. Рассматриваются две версии MLM:

1) Простая модель с неслучайными коэффициентами:

y_ij = β₀ + β_1xij + u_j + e_ij, (1)

где y_ij - зависимая переменная (результат), x_ij - объясняющая переменная (предыдущие достижения учеников), индекс i соответствует ученику, j – школе, β₀ , β₁ – оцениваемые коэффициенты модели, u_j ~ N(0,σ_u²) - индивидуальный эффект школы (организация, качество преподавания), e_ij ~ N(0,σ_u²) – случайная ошибка, причём u_j и e_ij не коррелируют.

2) Модель со случайными коэффициентами:

 (2),

которая строится в предположении, среднее значение зависимой переменной (β_0ij) может состоять из постоянной части, эффекта школы и случайной ошибки, а коэффициент при регрессоре (β_1j) - из постоянной части и случайного эффекта школы.

Наиболее важной представляется группового эффекта (эффекта школы), определяемая как отношение «дисперсии эффекта школы» к общей дисперсии:

 (3)

В расчётах использовались данные проекта органов образования Лондона по оценке младшей школы (The London Education Authority's Junior School Project) об успехах детей в математике в течение трёх лет. Данные имеются по 887 ученикам из 48 школ.

Переменные:

• School ID – идентификационный номер школы (от 1 до 48);
• Social class – фиктивная переменная, принимающая значение 1, если отец ребёнка – работник умственного труда, 0 – иначе;
• Gender – пол ребёнка (1 – мальчик, 0 – девочка);
• Math3 - результат теста по математике на третьем году обучения;
• Math5 – результат теста по математике на пятом году обучения (зависимая переменная).

По результатам оценки модели (2), 12% дисперсии объяснялось эффектом школы. После проведения теста на надёжность группового среднего в выборке были оставлены 22 школы. Для них были оценены 4 модели:

• Модель 0 – базовая – содержит только случайные групповые эффекты;
• Модель 1 - содержит предыдущие результаты ученика (Math3) и случайные групповые эффекты;
• Модель 2 - Модель 1 + пол и социальный класс;
• Модель 3 – предыдущие результаты, пол, социальный класс, но коэффициенты наклона случайные.

По критериям Акаике, Шварца и логарифмическому правдоподобию выбор был сделан в пользу Модели 3. результаты оценки представлены в таблице:

Note: *** = p<0.001, ** = p<0.01, * = p<0.05

Значимыми на 5% уровне оказались константа, результаты теста по математике и социальный статус. Модель обладает достаточно хорошими характеристиками для прогнозов. В качестве пример берётся мальчик из школы № 32, с результатом предыдущего теста в 22 балла, отец ребёнка не работник умственного труда. Прогнозный балл за тест на 5-м году обучения равен 29,5 балла.

На Рисунке 1 представлена зависимость (из Модели 3) результата теста по математике на 5-м году обучения в зависимости от результата 3-го года по 22 школам (для каждой школы наклон линии разный):

Figure 1. Scatterplots for each of the 22 schools

Однако MLM не позволяют судить о причинно-следственных связях, поэтому авторы далее предлагают использовать агент-ориентированную модель, введя две предпосылки:

1)Изучение метематики – процесс из 1 000 уроков с момент поступления в школу до написания теста в 5-й год обучения, причем тест Math3 пишется, когда пройдена половина уроков.

2) Обучение зависит от процесса социализации в школе – вхождения в устойчивые группы школьников (кто с кем общается в классе). Устойчивой считается группа, члены которой не хотят ее покинуть.

Для моделирования групп были введены три параметра толерантности:

• образовательная – принятие детей с иным уровнем учебных достижений;
• половая – принятие детей противоположного пола;
• социальная – принятие детей из другого социального класса.

Возможные уровни толерантности 0,3, 0,5, 0,7 и 0.9. На Рисунке 2 представлены группы в школе №32 с уровнем образовательной, половой и социальной толерантности 0,9, 0,3, 0,9. В этой школе образовалось 15 групп. Мальчики обозначены тёмно-серым, девочки – светло-серым. Квадраты – низший социальный класс, круг – высший. Цифры рядом с фигурами – результаты теста Math3.

Обозначив k – номер стабильной группы, авторы вводят следующие показатели:

, где Math3k – средний результат теста по математике в k-той группе,

, где  - число уроков, прошедших для группы k,

 - модельный результат финального теста по математике.

Качество модели оценивается по полусумме отклонений модельных результатов теста Math5 в школе j от реальных результатов:

Figure 2. Simulated Students' Social Network in School #32.

Для школы № 32 показатель d32=2.231, то есть средний модельный результат теста по математике отличается от реального на 2.231 балла.

Сравнение точности MLM и ABM для разного числа групп и разного уровня толерантности представлено в следующей таблице:

Как видно из таблицы, более точные прогнозы дают MLM, однако ABM учитывают возможные причины, влияющие на результаты теста школьников. Авторы статьи отмечают, что знание причинно-следственных связей необходимо для будущих исследований и делают вывод, что данные, полученные по более сложным агент-ориентированным моделям, могут быть включены в состав переменных многоуровневых моделей.

Оригинал статьи: Mauricio Salgado, Elio Marchione and Nigel Gilbert (2014) «Analysing Differential School Effectiveness Through Multilevel and Agent-Based Modelling» // Journal of Artificial Societies and Social Simulation 17 (4) 3.