Интеграция соревнований в рамках учебного курса в преподавание стратегического менеджмента: воспроизводимый протокол по совершенствованию курса

Краткое содержание

Данный протокол интегрирует в курс стратегического менеджмента для студентов бакалавриата последовательность соревнований по диагностике, принятию решений и защите стратегии с помощью поэтапных командных заданий, структурированной обратной связи, обучения оценивающих, мониторинга точности реализации и раздельного анализа результатов на уровне студентов и команд.

Аннотация

Обучение стратегическому менеджменту требует от студентов применения аналитических моделей к неопределенным бизнес-ситуациям в условиях ограниченности ресурсов и необходимости компромиссных решений. Курсовые соревнования могут поддержать этот процесс, если они организованы как структурированная система обучения, а не как разовое мероприятие по представлению работ. В данной статье описывается воспроизводимый протокол интеграции трехэтапного курса соревнований в программу бакалавриата по стратегическому менеджменту. Протокол следует 16-недельной последовательности, которая включает базовую оценку, основное обучение, введение в кейс предприятия, формирование команд, стратегическую диагностику, симуляцию принятия стратегических решений или заполнение листа решений, финальную защиту стратегии, итоговую оценку по завершении курса и обзор курса. Механизм обучения сочетает в себе поэтапную практику, работу с кейсом предприятия, структурированную формирующую обратную связь, командную ответственность, устную защиту и оценку на основе рубрик. Локально операционализированные показатели процесса используются для мониторинга взаимодействия в аудитории, полноты разработки кейса, своевременности обратной связи, соответствия задач рубрикам, вовлеченности студентов и точности реализации протокола. Результаты на уровне студентов, результаты соревнований на уровне команд, согласованность оценок экспертов, закономерности отсутствующих данных, раскрытие использования искусственного интеллекта и признаки завышения баллов анализируются отдельно во избежание проблем с единицей анализа. Представленные репрезентативные результаты следует интерпретировать как специфические для данного контекста результаты внедрения, полученные в ходе ретроспективного нерандомизированного сравнения образовательных записей, а не как доказательство причинно-следственной эффективности. Данный протокол представляет собой проверяемую процедуру проектирования, внедрения, документирования, оценки и совершенствования обучения стратегическому менеджменту с интегрированными соревнованиями в рамках цикла улучшения курса.

Введение

Курсы по стратегическому менеджменту требуют от студентов выхода за рамки простого воспроизведения концепций. Студенты должны применять такие идеи, как отраслевая структура, конкурентное преимущество, распределение ресурсов, стратегический выбор и реализация в условиях неполной информации и конфликтующих приоритетов. Конкурентное позиционирование объясняет, как фирмы выбирают позиции с учетом внешних ограничений¹, в то время как ресурсоориентированный подход делает акцент на специфических ресурсах и возможностях фирмы, которые определяют стратегические варианты². Эти перспективы делают стратегический менеджмент подходящим для прикладных методов обучения, при которых студенты диагностируют бизнес-ситуацию, делают стратегический выбор, обосновывают его и пересматривают свои рассуждения после получения обратной связи. Лекции и разрозненные обсуждения кейсов остаются полезными, но они могут не в полной мере раскрыть то, как студенты рассуждают в условиях неопределенности, компромиссных решений и ограничений при реализации. Соревнование в рамках курса может создать более требовательную среду обучения только в том случае, если оно связано с целями курса, последовательностью задач, критериями оценки и циклами обратной связи. Без этих элементов соревнование может поощрять уверенность в презентации или разделение задач, а не стратегическое мышление.

Предыдущие исследования деловых игр и симуляций показали, что для того, чтобы эта деятельность функционировала как образовательный метод, а не как развлечение в аудитории, необходимы четкие правила, циклы принятия решений, доказательства оценки и разбор результатов^3,4. Активное обучение также зависит от проектирования задач, а не только от самого действия. Студенты могут казаться вовлеченными, при этом применяя концепции поверхностно. Следовательно, структурированный конкурс по стратегическому менеджменту должен требовать от студентов анализа ситуации, обоснования решения, получения формирующей обратной связи, пересмотра своих рассуждений и защиты плана реализации. Такая последовательность отражает принципы активного обучения, поскольку студенты создают, проверяют и совершенствуют свои собственные рассуждения, а не просто слушают инструкции⁵. Это также отражает принципы эмпирического обучения, так как цикл конкурса связывает непосредственное изучение конкретного кейса, рефлексивный анализ, принятие решения и скорректированные действия⁶.

Опубликованные отчеты о бизнес-симуляциях и соревнованиях значительно различаются по степени детализации процедур. В некоторых работах описывается использование симуляции или соревнования, но предоставляется ограниченная информация о формировании команд, постановке задач, сроках предоставления обратной связи, подготовке экспертов, разработке критериев оценки (рубрик), обработке пропущенных данных или разграничении индивидуальных и командных результатов. Предыдущие обзоры и таксономии также показали, что бизнес-игры не являются единым методом обучения; они различаются по правилам, степени реалистичности, ролям учащихся, структуре принятия решений, использованию технологий, дизайну оценки и процедурам дебрифинга^7,8. Таким образом, воспроизводимый протокол по стратегическому менеджменту должен определять не только факт проведения соревнования, но и то, как это соревнование было интегрировано в курс и каким образом контролировалось его выполнение.

Данный протокол следует рассматривать как многокомпонентный комплекс по улучшению курса, интегрирующий элементы соревнования. Ожидаемый образовательный эффект не может быть приписан исключительно соревновательному аспекту, так как протокол также включает в себя работу с бизнес-кейсами, повторяющуюся практику, структурированную обратную связь, командную ответственность, публичную защиту, калибровку оценщиков и систематический анализ курса. Элемент соревнования полезен с образовательной точки зрения, поскольку он создает временные ограничения (дедлайны), возможность сравнения, ответственность и необходимость публичного обоснования, однако эти элементы намеренно сочетаются с поэтапными учебными задачами и контролем оценивания. Данная процедура отличается от традиционного обучения стратегическому менеджменту, основанного на эмпирическом подходе, симуляциях или соревнованиях, тремя аспектами. Во-первых, соревновательный процесс разбит на этапы диагностики, принятия решений и финальной защиты, а не сосредоточен в одной итоговой презентации. Во-вторых, перед интерпретацией результатов обучения контролируется точность соблюдения методики реализации. В-третьих, результаты обучения на индивидуальном уровне отделены от результатов соревнования на командном уровне. Это различие важно, так как команда может успешно выступить на финальной защите, в то время как некоторые ее члены продемонстрируют ограниченный индивидуальный прогресс. Командное обучение требует ответственности, взаимодействия и совместного обоснования выводов, а не просто членства в группе⁹. Таким образом, в протоколе используются уставы команд, журналы процессов, формы оценки вклада участников, обучение оценщиков, проверки согласованности оценок и правила предупреждения о завышении баллов.

Протокол был внедрен в качестве регулярного учебного мероприятия в рамках курса «Стратегический менеджмент» для студентов бакалавриата в Бизнес-школе Колледжа науки и технологий города Чжухай, Китай. Обучение группы, следовавшей протоколу, проходило в секции курса SM-2025-F01 в осеннем семестре 2025–2026 учебного года. Контрольная группа представляла собой историческую когорту, обучавшуюся в секции курса SM-2024-F01 в осеннем семестре 2024–2025 учебного года. В секцию курса по протоколу было зачислено 96 студентов; 94 студента предоставили письменное или электронное согласие на использование деидентифицированных учебных записей в исследовательских целях после получения этического одобрения и до включения в исследовательский набор данных, 2 студента были исключены по причине отчисления с курса до 8-й недели или отсутствия каких-либо достоверных результатов после завершения курса, и в итоге финальная аналитическая группа протокола составила 92 студента. В историческую контрольную секцию было зачислено 92 студента; 90 студентов согласились на использование деидентифицированных учебных записей в исследовательских целях после получения этического одобрения и до ретроспективного извлечения данных, 2 студента были исключены согласно тем же правилам в отношении отсутствующих данных и отчислений, и в итоге финальная аналитическая контрольная группа составила 88 студентов.

Обе когорты состояли из студентов третьего курса бакалавриата по направлению «бизнес». Специальности включали бизнес-администрирование, маркетинг, электронную коммерцию и международный бизнес. В основную когорту вошли 51 студентка и 41 студент, средний возраст которых составил 20,4 ± 0,7 лет. В контрольную когорту вошли 49 студенток и 39 студентов со средним возрастом 20,5 ± 0,8 лет. О наличии опыта участия в соревнованиях сообщили 27 студентов в основной когорте и 24 студента в контрольной когорте. Доля выбывших до проведения окончательного анализа составила 4,2% в основной когорте и 4,3% в контрольной когорте. Количество пропусков данных в основной когорте составило: 2 исходных теста на знания, 3 итоговых теста на знания, 4 опроса об обучении после курса и 4 неполных записи о выполнении конкурсных заданий. Количество пропусков данных в контрольной когорте составило: 3 исходных теста на знания, 4 итоговых теста на знания, 5 опросов об обучении после курса и 70 неполных записей о выполнении конкурсных заданий, поскольку исторический курс не предусматривал полный трехэтапный процесс соревнований.

Контрольная группа прошла традиционное обучение стратегическому менеджменту на основе разбора кейсов без полного трехэтапного цикла соревнований. Обе группы обучал один и тот же преподаватель. Для обеих групп использовались сопоставимые ожидаемые результаты обучения, основные темы по стратегическому менеджменту, объем проверки знаний, система оценки индивидуального анализа кейсов и структура итогового оценивания курса. Группа, следовавшая протоколу, дополнительно получила пакет корпоративных кейсов, поэтапные задания для соревнований, структурированные циклы обратной связи, формальные записи о командном процессе, процедуры обучения оценщиков и мониторинг точности реализации. В данной статье протокол описывается как воспроизводимый метод улучшения курса, а не как утверждение о причинно-следственной эффективности. Представленные результаты демонстрируют типы выходных данных по реализации, качеству обучения, показателям на уровне студентов и команд, надежности оценивания, пропущенным данным и устранению неполадок, полученные в ходе применения протокола. Поскольку сравнение является ретроспективным, нерандомизированным и специфичным для данного контекста, различия между группами следует интерпретировать как свидетельство улучшения курса в рамках одного контекста реализации, а не как доказательство того, что только соревновательный метод в курсе привел к наблюдаемым результатам.

Общая цель данного протокола — помочь преподавателям проектировать, документировать, оценивать и совершенствовать обучение стратегическому менеджменту с интеграцией соревновательных элементов. Он обеспечивает подтверждение качества обучения путем установления связей между преподавательской деятельностью, результатами работы студентов, критериями оценивания (рубриками), записями о реализации и решениями по пересмотру курса¹⁰. Протокол также учитывает проблемы, обсуждаемые в исследованиях геймификации и конкурентного обучения, согласно которым игровые элементы могут давать неоднозначные результаты, если акцент делается на мотивации без достаточного внимания к структуре заданий, качеству обратной связи и валидности оценки^11,12. Ожидаемые результаты включают записи о реализации, операционализированные на местном уровне показатели качества обучения, индивидуальные результаты обучения студентов, результаты соревнований на уровне команд, доказательства согласованности оценок экспертов, раскрытие информации об использовании искусственного интеллекта, документацию по отсутствующим данным и записи об устранении возникших проблем.

Протокол

Использование в исследовательских целях обезличенных образовательных записей обеих когорт было одобрено Комитетом по этике педагогических исследований Колледжа науки и технологий города Чжухай, Чжухай, Китай (номер одобрения 20260507001; дата одобрения: 7 мая 2026 г.). Одобрение распространялось на когорту по протоколу и когорту исторического сравнения, включая обычные записи о курсе, опросы, наблюдения в аудиториях, записи о командных процессах, баллы за соревнования, оценки экспертов, записи с образовательной платформы и обезличенные переменные из журнала оценок. 16-недельный курс преподавался в обычном режиме по предмету «Стратегический менеджмент» до извлечения данных для исследования; до получения этического одобрения никакие идентифицируемые наборы данных не извлекались, не кодировались, не анализировались и не представлялись в отчетах. Письменное или электронное согласие на использование обезличенных записей курса в исследовательских целях было получено после одобрения этического комитета и до включения данных в набор. Участие в курсе было отделено от использования данных в исследовании; студенты, не давшие согласия, прошли курс в обычном режиме, но были исключены из исследовательского анализа. Записи о согласии хранились отдельно от журнала оценок, доступ к файлу сопоставления кодов и личностей был ограничен менеджером по данным, а готовый к анализу набор данных был создан только после сдачи оценок, проверки согласий, присвоения кодов и удаления прямых идентификаторов и идентифицируемых текстовых комментариев.

1. Разработайте протокол совершенствования курса с интеграцией соревновательного элемента.

1. Определите протокол как 16-недельный процесс улучшения курса, интегрированный в соревновательную модель для программы бакалавриата по стратегическому менеджменту. Инструкционным механизмом является поэтапный цикл «диагностика — решение — защита», объединяющий стратегический анализ, принятие решений на основе фактических данных, обратную связь, командную ответственность, устную защиту и обзор курса.
2. Определите качество обучения через показатели взаимодействия в аудитории, полноту разработки кейсов, своевременность обратной связи, соответствие задач критериям оценивания (рубрикам) и вовлеченность студентов. Определите точность реализации через выполнение запланированных мероприятий, завершение сессий по предприятиям или кейсам, выполнение заданий, скорость предоставления обратной связи, заполнение рубрик, проведение наблюдений и прохождение подготовки оценивающих. Агрегируйте показатели только в тех случаях, когда надежность и размерность данных подтверждают возможность такой агрегации.
3. До начала проведения курса согласуйте результаты обучения, преподавательскую деятельность, конкурсные задания, рубрики, точки обратной связи и показатели результатов для обеспечения конструктивного согласования¹³.
4. Распределите роли: преподаватель курса, координатор конкурса, специалист по связям с предприятиями, наблюдатель в аудитории, координатор оценивающих и менеджер по данным. В небольших программах преподавательские роли могут быть совмещены, однако менеджер по данным, по возможности, должен быть отделен от процесса итогового выставления оценок и подготовки набора данных для исследования.
5. Подготовьте папку реализации курса с контролем версий, содержащую учебную программу (силлабус), файлы кейсов, руководство, шаблоны заданий, рубрики, формы наблюдения, опросы, записи по командам, формы оценивания, журналы обратной связи, формы раскрытия использования ИИ и записи о контроле версий. После получения одобрения комитета по этике создайте папку воспроизводимости исследования, содержащую документ об одобрении, запись о подтверждении согласия, журнал деидентификации, деидентифицированные наборы данных, словарь данных, журнал очистки, скрипты анализа, результаты статистического анализа, исходные файлы рисунков, таблицы и дополнительные файлы (Рисунок 1 и Таблица материалов; операционные шаблоны представлены в Дополнительном файле 1).

Рисунок 1: Схема протокола совершенствования курса по стратегическому менеджменту с интеграцией соревновательного элемента. На схеме представлена последовательность действий от подготовки курса до его реализации в течение 16 недель, создания стандартной учебной документации, подачи оценок, подготовки к использованию данных в исследованиях с одобрением комитета по этике, проверки согласий, деидентификации, блокировки набора данных, анализа, отчетности, устранения проблем и доработки курса. На рисунке разделены текущие преподавательские мероприятия и последующее извлечение и анализ исследовательских данных после выставления оценок. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

2. Наберите когорту студентов и подготовьте набор исследовательских данных.

1. Включите студентов, официально зачисленных на выбранную группу курса «Стратегический менеджмент» бакалавриата. Зафиксируйте учебное заведение, академический год, семестр, группу, тип когорты, специальность, уровень обучения (курс), количество учебных недель, объем контактных часов, общее число зачисленных, количество давших согласие участников, исключенных лиц, окончательную аналитическую выборку, демографические данные, предыдущий опыт участия в соревнованиях, количество выбывших и количество пропущенных данных.
2. Определите протокольную когорту как группу, прошедшую полный протокол с интеграцией соревнований, а сравнительную когорту — как историческую группу, получившую традиционное обучение по курсу «Стратегический менеджмент» на основе разбора кейсов без полного трехэтапного цикла соревнований. Зафиксируйте, обучал ли обе когорты один и тот же преподаватель, а также были ли сопоставимы результаты обучения, объем оцениваемых материалов, требования к индивидуальному анализу кейсов и структура выставления оценок.
3. После получения одобрения комитета по этике подтвердите наличие согласия, присвойте студентам и командам неидентифицируемые коды, удалите прямые идентификаторы и примените правила включения, исключения и обработки пропущенных данных, указанные в Таблице 1.
4. Включите давших согласие студентов, имеющих хотя бы один достоверный результат после завершения курса. Исключите студентов из парного анализа знаний, если отсутствует любой из тестов по знаниям, и из анализа, связанного с соревнованиями, если отсутствуют записи по всем трем заданиям. Сохраните доступные записи для других подходящих видов анализа.
5. Обозначьте пропущенные исследовательские данные как NA. Не присваивайте значение «0», если только ноль не отражает фактическую оценку по курсу в соответствии с утвержденной политикой курса. Создайте запись о потоке участников для каждой когорты.

Объект	Операциональное определение	Правило применения	Переменная набора данных	Значение анализа
Целевой курс	Курс по стратегическому менеджменту для студентов бакалавриата, проводимый в выбранном семестре	Включите студентов, официально зачисленных на выбранную секцию курса	раздел курса	Определяет подходящую группу преподавателей
Когорта протокола	Группа, прошедшая полный протокол улучшения курса с интеграцией соревновательного элемента	Код 1	тип когорты	Когорта протокола
Историческая когорта сравнения	Историческая группа, получавшая традиционное обучение стратегическому менеджменту на основе анализа конкретных ситуаций (кейсов) без прохождения полного трехэтапного процесса соревнования	Код 0	тип когорты	Нерандомизированная историческая когорта сравнения
Официальное зачисление	Студент значится в официальном списке курса	Отбор в качестве потенциально подходящих кандидатов	статус соответствия критериям	Требуется перед скринингом для исследовательских целей
Информированное согласие на участие в исследовании	Студент предоставляет письменное или электронное согласие на использование обезличенных записей курса после получения одобрения комитета по этике	Включайте в набор данных исследования только тех студентов, которые дали свое согласие	статус согласия	Студенты, не давшие согласия, проходят курс в обычном режиме, но исключаются из исследовательского анализа.
Участие в курсе	Обычные учебные мероприятия, выполняемые независимо от согласия на участие в исследовании	Предоставить всем зачисленным студентам возможность посещать занятия, вступать в команды, выполнять задания по курсу и получать оценки	статус участия в курсе	Разделяет участие в преподавательской деятельности и участие в научно-исследовательской деятельности
Достоверный результат по окончании курса	Доступен как минимум один валидный результат после прохождения курса	Включите в анализ те случаи, для которых доступны соответствующие результаты.	доступность результата	Позволяет проводить анализ с учетом имеющихся данных (available-case analysis)
Отказ от курса до середины семестра	Студент отчисляется до 8-й недели обучения	Исключить из окончательного набора данных исследования	статус отзыва	Снижает систематическую ошибку, связанную с неполным воздействием
Тест на определение отсутствующих базовых знаний	Отсутствует тест для проверки знаний за 1-ю неделю	Обозначить как Н/Д	отсутствие предварительных знаний	Исключить только из анализа парных знаний
Отсутствует итоговый тест по проверке знаний по окончании курса	Тест по материалам 16-й недели отсутствует	Обозначить как Н/Д	отсутствие последующих знаний	Исключить только из анализа парных знаний
Отсутствуют оба теста на знание материала	Отсутствуют как исходные показатели знаний, так и показатели по окончании курса	Исключить из анализа показателей знаний	статус пары знаний	Сохранить для других подходящих анализов при наличии данных
Отсутствует опрос по завершении курса	Анонимный опрос по завершении курса отсутствует	Обозначить как NA	опрос_отсутствует	Сохранять при проведении объективного анализа эффективности
Отсутствие одной или двух записей о заданиях конкурса	Отсутствуют одна или две записи о задачах или сопоставленных проектах	Присваивайте отсутствующим записям значение NA, если только правилами курса не предусмотрено присвоение нуля	отсутствует оценка задания	Сохраните доступные записи задач или сопоставленных проектов
Отсутствуют все три записи о задачах соревнований	Отсутствуют допустимые записи для Задачи 1, Задачи 2 или Задачи 3	Исключить из анализа конкуренции	завершение соревнования	Сохранить для проведения анализа отсутствия конкуренции, если доступны другие показатели исходов
Дублирующая запись	Для одного и того же кода студента appears более одной строки	Сохраните проверенную окончательную запись после сверки с исходным файлом	проверка на дубликаты	Разделить перед анализом
Утечка идентификаторов	имя, номер студенческого билета, номер телефона, адрес электронной почты, учетная запись на платформе, идентификатор устройства или идентифицируемый текстовый комментарий в свободной форме	Удалите идентификатор перед проведением анализа	проверка идентификатора	Анализ набора данных невозможен до проведения процедуры деидентификации
Финальная аналитическая проба	Студенты, предоставившие согласие и имеющие пригодные данные после применения правил исключения и обработки пропущенных данных	Укажите итоговое число и причины исключения	анализ образца	Необходимо для отчетности о потоке участников

Таблица 1: Структура когорты, критерии включения, критерии исключения и правила обработки пропущенных данных.В этой таблице определены когорта протокола, когорта для исторического сравнения, критерии соответствия, разрешение на использование данных в исследовательских целях, критерии исключения, порядок обработки пропущенных данных и принципы формирования аналитической выборки.

3. Реализуйте последовательность 16-недельного курса.

1. Проводите курс в течение 16 учебных недель, включая 32 часа аудиторных занятий и примерно 24–30 часов самостоятельной командной работы. Отдельно фиксируйте часы инструктажа, время командной работы, взаимодействие по кейсу, обратную связь, репетиции и время проведения оценки.
2. На 1-й неделе в рамках стандартных мероприятий курса проведите вводный инструктаж, базовое тестирование знаний и базовый опрос по вовлеченности. Разъясните процесс обучения, последовательность заданий, правила оценивания, принципы защиты данных и последующее использование обезличенных записей в исследовательских целях. Проведите основные занятия по стратегическому менеджменту на 2–3-й неделях и краткое закрепление концепций в течение 4–15-й недель.
3. На 4-й неделе представьте пакет материалов по кейсу предприятия и руководство по конкурсу, включая последовательность заданий, правила подачи работ, критерии оценки (рубрики), график обратной связи, обязанности команд, правила академической добросовестности, требования к раскрытию использования ИИ, процедуру устного опроса и процесс апелляции.
4. Реализуйте Задание 1 на 5–6-й неделях и предоставьте обратную связь в течение 7 календарных дней на 7-й неделе. Потребуйте пересмотра формулировки стратегической проблемы перед выполнением Задания 2¹⁴. Реализуйте Задание 2 на 8–10-й неделях, проведите менторство со стороны предприятия или структурированный коучинг по кейсу на 11-й неделе и Задание 3 на 12–15-й неделях.
5. На 16-й неделе в рамках стандартных мероприятий курса проведите итоговый тест знаний, послекурсовой опрос, аудит данных и обзор курса. Экспорт, кодирование, обезличивание и анализ записей для исследовательских целей допускаются только после получения одобрения этического комитета, проверки согласий и выставления оценок (см. Таблицу 2).
   ТОЧКА ОСТАНОВКИ: Сделайте паузу после 4-й недели, если распределение по командам, файлы кейса, руководство, критерии оценки, форма раскрытия использования ИИ, шаблоны заданий или формы регистрации данных заполнены не полностью. Для отчетности по исследованию приостановите анализ до завершения получения одобрения этического комитета, проверки согласий, выставления оценок, обезличивания и блокировки набора данных.

Неделя	Активность	Методический акцент	Результат работы студента или команды	Необходимая запись	Контроль качества
Неделя 1	Инструктаж по курсу и исходная оценка знаний	Процесс обучения, правила оценивания, тест на определение базового уровня знаний, опрос о базовом уровне вовлеченности	Базовый тест на определение уровня знаний; базовый опрос	Посещаемость; файл с результатами базового тестирования; файл с результатами базового опроса; запись о брифинге по курсу	Подтвердите завершение исходной оценки и разделение рутинных записей курса и данных для последующего использования в исследованиях
Неделя 2	Основы стратегического менеджмента: руководство I	Анализ внешней среды, отраслевой анализ, анализ конкурентов	Рабочий лист для занятий в аудитории	Посещаемость; запись в рабочем листе	Проверка заполнения рабочего листа
Неделя 3	Основы стратегического менеджмента: инструкция II	Анализ внутренних ресурсов, стратегический выбор, планирование реализации, оценка эффективности	Краткий ответ для обсуждения клинического случая	Посещаемость; запись обсуждения клинического случая	Подтверждение основных концепций перед запуском конкурса
Неделя 4	Введение в бизнес-кейс и брифинг по конкурсу	Пакет материалов по кейсу, руководство, последовательность задач, критерии оценивания, раскрытие использования ИИ, правила команды, процедура апелляции	Список участников команды; устав команды; подтверждение использования ИИ	Список участников команды; устав команды; журнал доступа к руководству; журнал доступа к делу	Приостановите работу, если материалы дел, руководство, рубрикаторы, записи команды, шаблоны задач или формы использования ИИ заполнены не полностью
Неделя 5	Задача 1 начинается	Структура отчета о стратегической диагностике и требования к доказательной базе	Проект отчета о стратегической диагностике	Журнал рабочих процессов группы; протокол консультаций	Подтвердите распределение ролей в команде
Неделя 6	Сдача задания 1	Стратегическая диагностика, отраслевой и внутренний анализ, использование доказательств	Итоговый отчет по задаче 1	Запись о подаче; файл отчета	Выявление отсутствующих или неправильно оформленных заявок
Неделя 7	Отзыв по заданию 1	Обратная связь на основе рубрик и направление по доработке	Пересмотренная формулировка стратегической проблемы	Журнал обратной связи; запись о сроках обработки обратной связи	Приостановите, если >15% отчетов не соответствуют требуемой структуре
Неделя 8	Начинается задача 2	Лист принятия решений, допущения моделирования, переменные принятия решений	Лист принятия первоначальных стратегических решений	Журнал процессов команды; протокол наблюдений	Подтверждение понимания переменных принятия решений
Неделя 9	Уточнение стратегических решений	Позиционирование на рынке, распределение ресурсов, последовательность реализации, допущения о рисках	Пересмотренный лист принятия решений	Журнал коучинга; контрольный список для наблюдения	Проверить обоснованность на основе фактических данных
Неделя 10	Сдача задания 2	Логика принятия окончательного стратегического решения	Лист принятия окончательного решения по Заданию 2	балл за задание 2; запись о подаче; файл листа принятия решения	Проверка полноты представленных материалов
Неделя 11	Корпоративный или структурированный кейс-коучинг	Менторская обратная связь или разбор конкретных случаев при возникновении стратегических дилемм	Лист рефлексии ментора; план доработки команды	Журнал взаимодействия с предприятием; вопросы студентов; запись рефлексии	Подтвердите посещаемость и заполнение формы рефлексии
Неделя 12	Начало задания 3	Формат финальной защиты, резюме, структура слайдов, вопросы и ответы&Правила	Проект плана презентации	Журнал процессов команды; обновление раскрытия информации об использовании ИИ	Проверка распределения рабочей нагрузки с помощью формы оценки вклада участников
Неделя 13	Подготовка к итоговой защите	Стратегическая согласованность, осуществимость, контроль рисков, использование доказательств	Проект презентации; резюме для руководства	Журнал коучинга; контрольный список наблюдений	Подтверждение взаимосвязи между диагнозом, выбором и реализацией
Неделя 14	Репетиция и калибровка экспертов	Пробная защита и обучение экспертов	Репетиция презентации	Протокол обучения экспертов; предварительная проверка рубрики	Подтверждение калибровки оценки
Неделя 15	Защита итоговой стратегии	8-минутный доклад и 5-минутная сессия вопросов и ответов&A	Финальный набор слайдов; резюме; устная защита	Баллы за задание 3; баллы экспертов; Q&Примечания	Расчет коэффициента внутриклассовой корреляции (ICC) для перекрывающихся субъективных оценок
Неделя 16	Посткурсовая оценка и обзор курса	Итоговый тест по материалам курса, итоговый опрос по курсу, обзор курса, плановый аудит данных	Итоговый тест по курсу; итоговый опрос по курсу	Файл итогового теста по курсу; файл опроса; запись о рецензировании курса	Приостановить анализ данных исследования до завершения выставления оценок, получения одобрения комитета по этике, проверки наличия информированного согласия, деидентификации данных и блокировки набора данных

Таблица 2: Шестнадцатинедельный график реализации протокола курса «Стратегический менеджмент», интегрированного в конкурс.В этой таблице обобщены еженедельные мероприятия по протоколу, основные направления обучения, результаты работы студентов или команд, необходимые записи и контрольные точки контроля качества на протяжении всего 16-недельного курса.

4. Подготовка бизнес-кейсов и материалов для конкурса.

1. Выберите один основной корпоративный кейс и два дополнительных вспомогательных кейса из открытых, анонимизированных или одобренных предприятием учебных материалов. Проверьте каждый кейс на наличие отраслевого контекста, управленческой проблемы принятия решения, ресурсных ограничений, стратегических компромиссов, сложностей реализации и измеримых последствий. Используйте критерий «полноты дизайна кейса» вместо «аутентичности кейса», если нет возможности независимой валидации.
2. Подготовьте анонимизированный модельный кейс, если материалы, одобренные предприятием, недоступны. Укажите отрасль, размер фирмы, сегмент клиентов, конкурентное давление, ресурсные ограничения, стратегическое решение, риски реализации и ожидаемые последствия. Удалите конфиденциальную корпоративную информацию, включая названия компаний, точные финансовые показатели, сведения о клиентах, данные о сотрудниках, проприетарные данные и стратегические документы, если на это нет письменного разрешения. Шаблон кейса представлен в Дополнительном файле 1.
3. Подготовьте руководство, шаблоны заданий, форму оценки вклада коллег, журнал командного процесса, журнал обратной связи, форму раскрытия использования ИИ, форму записи устного опроса, рубрики оценивания и таблицу контроля версий. Разрешите заявленное использование ИИ для стилистической правки текста, форматирования, проверки грамматики, общего мозгового штурма и улучшения макета слайдов. Запретите использование ИИ в качестве замены студенческого анализа, подбора доказательств, обоснования решения, анализа рисков, планирования реализации или устной защиты.
4. Разработайте рубрики оценивания, в которых стратегическое мышление приоритетнее качества оформления текста. Оценивайте использование доказательств, обоснование компромиссов, осуществимость реализации, внутреннюю согласованность и устную защиту отдельно от стиля презентации. Загрузите руководство, шаблоны, рубрики, материалы кейсов, правила использования ИИ и процедуру апелляции до 4-й недели.

5. Сформируйте студенческие команды и распределите роли в них.

1. Сформируйте группы по 4–6 студентов. Используйте стратифицированное группирование, если имеются данные об успеваемости по курсу, специальности, поле или предыдущем опыте участия в соревнованиях, и если это допускается правилами учебного заведения.
2. До начала Задания 1 распределите основные роли между студентами. Потребуйте от каждой команды представить устав команды и вести журнал процесса, в котором фиксируются распределение ролей, правила коммуникации, ожидания от вклада каждого участника, сроки, ответственность за использование ИИ, посещаемость, принятые решения, изученные доказательства, нерешенные проблемы и следующие шаги.
3. Соберите оценки вклада участников от их коллег по группе на промежуточном и финальном этапах для выявления дисбаланса вкладов. Проведите индивидуальные устные проверки во время коучинга, репетиции или итоговой защиты, попросив выбранных студентов своими словами объяснить диагноз команды, доказательную базу, логику принятия решений, допущения о рисках или план реализации.

6. Проведите базовую оценку.

1. Проведите базовое тестирование знаний по стратегическому менеджменту на первой неделе, до представления кейса предприятия и выполнения конкурсных заданий, в рамках текущего оценивания курса.
2. Используйте тест из 24 заданий с оценкой от 0 до 100, охватывающий анализ внешней среды, анализ отрасли и конкурентов, анализ внутренних ресурсов, стратегический выбор, планирование реализации и стратегическую оценку. План теста, правила разработки заданий, форма рецензирования и правила подсчета баллов представлены в Дополнительном файле 1.
3. Разработайте формы A и B как эквивалентные, но не идентичные версии, согласованные по охвату тем, формату заданий, когнитивному уровню, диапазону баллов, ожидаемой сложности и правилам подсчета. Привлеките двух преподавателей стратегического менеджмента и одного рецензента по оценке бизнес-образования для анализа релевантности, ясности, когнитивного уровня и охвата тем заданий. Проведите пилотное тестирование обеих форм с участием 24 студентов, не входящих в аналитическую выборку.
4. Сохраняйте задания с показателем сложности 0,30–0,80 и показателем дискриминативности выше 0,20, где это возможно. Считайте внутреннюю согласованность приемлемой, если коэффициент KR-20 или альфа Кронбаха ≥0,70. Считайте формы приемлемыми для парного использования, если средняя разница в пилотном тесте ≤3 баллов, а стандартизированная разница <0,20.
5. Примените контрбалансировку форм, если это возможно. Распределите половину студентов так, чтобы они проходили форму A при базовом тестировании и форму B после курса, а вторую половину — форму B при базовом тестировании и форму A после курса. Если используется один фиксированный порядок, зафиксируйте это как ограничение исследования.
6. Проведите базовый опрос вовлеченности после теста знаний. Используйте 5-балльные шкалы для оценки интереса к стратегическому менеджменту, воспринимаемой практической значимости, уверенности в анализе кейсов, готовности участвовать в командных заданиях, готовности к командной работе и предыдущего опыта участия в конкурсах. Анализируйте концептуально разные пункты опроса отдельно, если данные о надежности и размерности не подтверждают возможность использования совокупного балла.
7. Зафиксируйте базовые показатели посещаемости, факт прохождения теста знаний, заполнения опроса и версию формы в ходе обычного проведения курса. Экспортируйте базовые данные для исследовательских целей только после получения этического одобрения, проверки согласия, присвоения кодов и удаления прямых идентификаторов.

7. Организация обучения стратегическому менеджменту на основе корпоративных кейсов.

1. Проводите обучение на основе конкретных ситуаций (кейсов) с помощью коротких лекций, направляемых дискуссий, групповых рабочих листов и кратких упражнений по принятию решений. Используйте задания для активного обучения, чтобы перевести студентов от этапа восприятия концепции к анализу, принятию решений, групповому обсуждению и рефлексии¹⁵.
2. Приглашайте менеджеров предприятий, предпринимателей или отраслевых наставников, если есть такая возможность. Предоставьте цели курса, уровень подготовки студентов, тему кейса, требования к конфиденциальности, фокус обсуждения и временные затраты минимум за 7 дней до занятия. Если живой наставник недоступен, используйте анонимизированный или открытый брифинг по кейсу.
3. Представьте одну неконфиденциальную стратегическую проблему, связанную с рыночной неопределенностью, конкурентным давлением, корректировкой бизнес-модели, ограниченностью ресурсов, барьерами при внедрении или контролем рисков. Потребуйте от каждой команды определить проблему, доказательную базу, альтернативы, риски и рекомендуемое решение, используя структурированный рабочий лист.
4. Потребуйте от каждой команды представить рефлексию объемом 300–500 слов, связывающую проблему кейса с одной концепцией стратегического менеджмента и одним решением в рамках активного соревнования. Зафиксируйте сведения о наставнике, источнике кейса, посещаемости, вопросах студентов, заполнении рабочих листов и сдаче рефлексии в журнале взаимодействия с предприятиями. Свяжите изучение кейса, рефлексию, принятие решений и доработку на протяжении всего цикла соревнования с помощью мероприятий по эмпирическому обучению¹⁶.

8. Реализуйте трехэтапное соревнование по преподаванию.

1. Проведите официальный инструктаж по конкурсу на 4-й неделе. Разъясните последовательность заданий, график, критерии оценивания, правила предоставления обратной связи, требования к академической честности, правила раскрытия использования ИИ, процедуру устного опроса и порядок подачи апелляций.
2. Реализуйте Задание 1 на 5–6-й неделях в виде отчета о стратегическом диагнозе объемом 1500–2000 слов, включающего анализ отрасли, анализ конкурентов, анализ внутренних ресурсов, диагностику стратегических проблем, использование доказательств и первоначальные рекомендации. Предоставьте обратную связь в течение 7 календарных дней и используйте пересмотренную формулировку стратегической проблемы в качестве отправной точки для Задания 2.
3. Реализуйте Задание 2 на 8–10-й неделях в виде симуляции принятия стратегического решения или структурированного листа принятия решений, охватывающего позиционирование на рынке, распределение ресурсов, логику ценообразования или затрат, последовательность реализации, допущения по рискам и ожидаемый результат.
4. Реализуйте Задание 3 на 12–15-й неделях в виде финальной защиты стратегии. Потребуйте презентацию из 8–12 слайдов, резюме для руководства объемом 1000–1500 слов, 8-минутный доклад и 5 минут на вопросы. Убедитесь, что защита связывает диагноз из Задания 1, логику принятия решений из Задания 2, план реализации, контроль рисков и ожидаемый результат.
5. Оцените все три задания по 100-балльным критериям, применяя структуру и параметры оценивания, указанные в Таблице 3.
   ТОЧКА ПРИОСТАНОВКИ: Сделайте паузу после оценивания Задания 1, если более 15% работ не соответствуют требуемой структуре или если рецензенты выявят неясные дескрипторы. Пересмотрите инструкции к заданию или руководство для рецензентов перед началом Задания 2.

Задание	Недели	Требуемый результат	Основное содержание	Балл	Критерии оценивания
Задание 1: Отчет по стратегической диагностике	Недели 5–6	отчет группы объемом 1500–2000 слов	Анализ отрасли, анализ конкурентов, анализ внутренних ресурсов, диагностика стратегических проблем, использование доказательной базы, предварительные рекомендации	100	Анализ отрасли и рынка, 20
					анализ внутренних ресурсов, 20
					диагностика стратегических проблем, 20
					использование доказательств, 20
					логика и ясность изложения, 20
Задание 2: Симуляция принятия стратегических решений или лист принятия решений	Недели 8–10	Лист структурированного принятия командных решений	Рыночное позиционирование, распределение ресурсов, логика ценообразования или затрат, последовательность реализации, допущения по рискам, ожидаемый результат	100	Стратегическая согласованность, 25
					рыночная логика, 20
					операционная осуществимость, 20
					анализ рисков, 20
					обоснование решения, 15
Задание 3: Финальная защита стратегии	Недели 12–15	презентация из 8–12 слайдов, краткое резюме на 1000–1500 слов, 8-минутное выступление, 5-минутная сессия вопросов и ответов&A	Стратегический диагноз, стратегический выбор, план реализации, контроль рисков, ожидаемые показатели эффективности	100	Стратегическая диагностика, 20
					стратегический выбор, 25
					возможность реализации, 20
					инновации, 15
					использование доказательств, 10
					устная защита, 10

Таблица 3: Структура трехэтапного учебного конкурса и критерии оценки. В данной таблице определены три конкурсных задания, недели реализации, требуемые результаты, основные требования к содержанию, общая сумма баллов и критерии оценки.

9. Стандартизация оценки и обучение экспертов.

1. При наличии персонала привлеките как минимум двух экспертов для субъективной оценки; если второй эксперт недоступен, задокументируйте факт оценки одним специалистом.
2. Проведите обучение экспертов, используя рубрики, дескрипторы, калибровочные работы, примеры типичных ошибок при оценке, правила раскрытия использования ИИ и критерии устного контроля. Эксперты независимо оценивают две калибровочные работы, после чего обсуждают расхождения в баллах, превышающие 10 пунктов.
3. Зафиксируйте рубрику после завершения обучения и используйте одну и ту же версию на протяжении всего цикла реализации. Рассчитайте коэффициент внутриклассовой корреляции (ICC), если одну и ту же работу оценивают два или более экспертов. Значение ICC ≥ 0,75 считается приемлемым; в случаях, когда ICC <0,75 или разница в баллах превышает 10 пунктов, проведите согласование оценок. Сохраняйте исходные баллы, согласованные баллы и примечания по согласованию.
4. Используйте оценку на основе рубрик для уточнения ожиданий и поддержки формирующего оценивания¹⁷. Соблюдайте процедуру обучения экспертов, достижения согласия по оценкам и согласования баллов, приведенную в Дополнительной таблице S1.

10. Сбор данных о качестве обучения и точности реализации.

1. Оценивайте качество обучения по взаимодействию в аудитории, полноте разработки кейсов, своевременности обратной связи, соответствию заданий критериям оценивания (рубрикам) и вовлеченности студентов. Анализируйте показатели по отдельности, если данные о надежности и размерности не обосновывают их агрегирование.
2. Используйте термин «полнота разработки кейса» вместо «аутентичность кейса», если нет возможности провести независимую проверку аутентичности.
3. Оценивайте точность реализации (fidelity) по завершению запланированных мероприятий, прохождению корпоративного этапа или сессии по кейсу, сдаче заданий, срокам предоставления обратной связи, заполнению рубрик, проведению наблюдений и прохождению обучения оценщиков.
4. Рассматривайте пороговые значения в Таблице 4 как заранее определенные операционные правила контроля качества, а не как внешне валидированные критерии отсечения. Эти пороги были установлены до проведения анализа данных на основе предварительной оценки осуществимости, консенсуса преподавательской группы и ограничений по рабочей нагрузке.
5. Используйте показатели, источники данных, пороговые значения, правила предупреждения и корректирующие действия, указанные в Таблице 4. Дополнительные процедуры устранения неполадок приведены в Дополнительной таблице S2.
6. Считайте реализацию адекватной, если завершено ≥85% запланированных еженедельных мероприятий, ≥85% студентов когорты по протоколу выполнили все три задания, ≥80% обратной связи предоставлено в течение 7 календарных дней, заполнены все основные рубрики и доступны все необходимые наблюдения. Считайте реализацию субоптимальной, если выполнение заданий <75%, срок предоставления обратной связи превышает 14 календарных дней для >20% работ, ICC <0.75 или отсутствует >25% запланированных наблюдений.

Категория	Индикатор	Источник данных	Временная точка	Масштаб	Положительный сигнал или порог	Правило предупреждения	Корректирующее действие
Точность реализации	Запланированное завершение деятельности	Журнал внедрения курса	Недели 1–16	% завершено	выполнено ≥85% запланированных мероприятий	<Завершено на 85%	Проанализируйте пропущенные сеансы и пересмотрите контроль графика
Точность реализации	Корпоративный или структурированный разбор клинического случая	Журнал взаимодействия с предприятием	Неделя 11	Реализовано / не реализовано	Запланированное занятие реализовано или заменено структурированным разбором клинического случая	Запланированный сеанс отсутствует без замены	Используйте анонимизированную сессию по разбору клинического случая или структурированный коучинг по клиническим случаям
Точность реализации	Завершение последовательности из трех задач	Журналы подачи заявок	Недели 6, 10, 15	% студентов	≥85% студентов когорты по протоколу выполняют все три задания	<75% всех задач выполнено	Упростите инструкции и добавьте контрольные точки проверки прогресса
Точность реализации	Своевременность обратной связи	Журнал обратной связи	Недели 7, 10, 15	Календарные дни	≥80% отзывов получено в течение 7 дней	>20% отзывов получено по истечении 14 дней	Сокращение формы обратной связи и распределение нагрузки по оценке
Точность реализации	Завершение наблюдения	Формы наблюдения	Недели 1–16	% запланированных наблюдений	выполнено ≥75% запланированных наблюдений	>25% запланированных наблюдений отсутствует	Добавьте резервного наблюдателя и установите фиксированный график наблюдений
Оценка качества	Согласованность оценок	Оценки экспертов	Подмножество задачи 1 и защита задачи 3	ИЦК (иммуноцитохимический анализ)	ICC ≥0,75	ИЦК (иммуноцитохимический анализ) <0.75	Повторное обучение экспертов, уточнение дескрипторов, согласование измененных оценок
Качество обучения	Взаимодействие в аудитории	Контрольный список для наблюдения	Выбранные сессии	балл от 1 до 5	Среднее значение ≥3,50 или прирост ≥0,30	Среднее значение <3.50	Улучшение стимулирования дискуссий и фасилитации
Качество обучения	Полнота дизайна исследования	Контрольный список для анализа клинического случая	До 4-й недели	оценка от 0 до 5 или от 1 до 5	Среднее значение ≥ 4,00	Среднее значение <3.50	Пересмотрите контекст ситуации, проблему принятия решения, ограничения и последствия
Качество обучения	Соответствие заданий критериям оценивания	Контрольный список по выравниванию	Перед 4-й неделей и послекурсный обзор	оценка от 0 до 5 или от 1 до 5	Среднее значение ≥4,00	Среднее значение <3.50	Пересмотреть согласованность задачи, результатов, критериев оценки и обратной связи
Качество обучения	Вовлеченность студентов	Посещаемость, участие, журналы регистрации, пункты опроса	Недели 1–16	Балл по каждому пункту или оценка по шкале от 1 до 5	Увеличение на ≥0,30 балла	Снижение >0,30 балла	Снизить перегрузку, уточнить ожидания, усилить формирующую поддержку
Результат обучения	Знания в области стратегического менеджмента	Исходное и итоговое тестирование	1-я и 16-я недели	0–100	Среднее увеличение ≥5 баллов	Увеличение <3 балла	Анализ охвата преподавания, соответствия заданий и эквивалентности тестов
Результат обучения	Анализ отдельных случаев	Критерии оценивания анализа клинического случая	Конец семестра	0–100	Протокол: преимущество когорты ≥3 баллов	Отсутствие преимущества или снижения	Добавьте практику анализа конкретных случаев и примеры с комментариями
Результат работы команды	Эффективность командных соревнований	Критерии оценки конкурса	Недели 6, 10, 15	0–100	Прогрессивное улучшение результатов в различных задачах	Высокий итоговый балл при недостаточном уровне предварительных доказательств	Проверьте завышение баллов и пересмотрите критерии оценивания в пользу аргументации
Восприятие студентов	Удовлетворенность	Опрос по завершении курса	Неделя 16	оценка по шкале от 1 до 5	Среднее значение ≥4,00	Среднее значение <3.50	Анализ рабочей нагрузки, ясности задач, качества обратной связи и координации работы команды
Восприятие студентов	Практическая значимость	Послекурсовый опрос	Неделя 16	оценка от 1 до 5	Среднее значение ≥4,00	Среднее значение <3.50	Повысьте специфику кейсов и установите связи с реальными стратегическими решениями
Безопасность при рабочих нагрузках	Конкурентное давление	Опрос по завершении курса	Неделя 16	оценка от 1 до 5 или %	Высокое давление ≤20% студентов	Высокое давление >20% студентов	Уменьшить перекрытие задач и скорректировать интервалы между крайними сроками
Предупреждение об интерпретации	Эффект потолка	Исходное тестирование и опрос	Неделя 1	0–100 или 1–5	Исходный уровень знаний ≤85 и удовлетворенность ≤4,50	Знания >85 или удовлетворенность >4.50	К незначительным улучшениям следует относиться с осторожностью
Предупреждение об интерпретации	Инфляция оценок	Командные и индивидуальные результаты	Конец семестра	Распознавание паттернов	Прирост командных показателей, сопровождаемый доказательствами индивидуального обучения	Командные показатели улучшаются, но индивидуальное обучение — нет	Повышение индивидуальной ответственности и введение системы оценивания на основе обоснования ответов
Процесс взаимодействия команды	Баланс вкладов авторов	Форма экспертного вклада	Средний и заключительный этапы	оценка от 1 до 5	Отсутствие повторных значительных дисбалансов	Один или несколько участников неоднократно получили очень низкие оценки	Требуется перераспределение ролей и проверка со стороны инструктора
Академическая добросовестность	Прозрачность использования ИИ	Раскрытие информации об использовании ИИ и устная проверка	Каждая основная задача	Раскрыто / не раскрыто	Использование ИИ раскрыто в соответствии с правилами учреждения	Нераскрытое или ненадлежащее использование ИИ	Применить установленную в учебном заведении процедуру обеспечения академической добросовестности и уточнить правила использования ИИ

Таблица 4: Показатели точности реализации, качества обучения, интерпретации результатов и устранения неполадок.В этой таблице указаны показатели точности реализации, показатели качества обучения, показатели результатов на уровне студентов и команд, показатели качества оценки, пороги интерпретации, правила предупреждения и корректирующие действия.

11. Сбор данных об итогах после прохождения курса.

1. На 16-й неделе проведите итоговый тест по знаниям в области стратегического менеджмента, используя эквивалентную форму послекурсового теста, а не ту же форму, что использовалась при базовом тестировании.
2. Соберите индивидуальные баллы за анализ кейсов в конце семестра, используя рубрику, охватывающую выявление проблем, использование доказательств, стратегическую логику, осуществимость и ясность изложения. Укажите этот показатель как индикатор успеваемости по окончании курса, если только ранее не проводилась полноценная базовая оценка анализа кейсов.
3. Соберите командные баллы за Задания 1–3 и храните их отдельно от индивидуальных результатов обучения.
4. Соберите данные об удовлетворенности, воспринимаемой практической значимости, полезности обратной связи, командном взаимодействии, давлении конкуренции, рабочей нагрузке и воспринимаемом прогрессе с помощью анонимного опроса по окончании курса. Не объединяйте пункты в один общий балл, если данные о надежности и размерности не подтверждают возможность создания композитного показателя.
5. Соберите итоговые баллы по курсу только после подачи оценок. Экспортируйте записи по окончании курса для использования в исследованиях только после получения этического одобрения, проверки согласия, присвоения кодов и удаления прямых идентификаторов и идентифицируемых комментариев.
   ТОЧКА ПРИОСТАНОВКИ: Приостановите исследовательский анализ до подачи итоговых оценок, получения этического одобрения, завершения проверки согласия, отделения списка согласий от набора исследовательских данных и подтверждения деидентификации.

12. Очистите и объедините деидентифицированный набор данных.

1. После получения одобрения этического комитета и проверки согласия создайте деидентифицированные наборы данных на уровне студентов, команд и классных занятий. Проверьте наличие дубликатов записей, недопустимых значений, отсутствующих кодов, несоответствий в кодах команд и прямых идентификаторов.
2. Объедините данные на уровне студентов и команд исключительно по коду команды. Очистите и закодируйте все наборы данных, используя шаблон в Дополнительном файле 1 и словарь переменных в Дополнительной таблице S3.
3. Обозначьте отсутствующие значения как NA. Не заменяйте отсутствующие результаты, за исключением случаев, когда политика курса предусматривает повторную аттестацию или нулевой балл за конкретное требование. Исключите студентов, не прошедших тест на знания, только из парного анализа знаний; студентов, не выполнивших все три конкурсных задания, исключите из анализов, связанных с конкурсом. Сохраните доступные записи для других подходящих видов анализа.
4. Сохраните очищенный набор данных, словарь данных, журнал очистки, файл, готовый к анализу, и заблокированный выходной файл. Вносите изменения в заблокированные данные только с оформлением датированного журнала исправлений.

13. Проанализируйте точность реализации, качество обучения и результаты обучения.

1. Проанализируйте точность реализации (implementation fidelity) перед интерпретацией результатов обучения. Осторожно интерпретируйте различия в результатах, если пороги точности реализации не были достигнуты.
2. Приведите описательную статистику для непрерывных переменных и частоты для категориальных переменных, включая тип когорты, основную группу, предыдущий опыт участия в соревнованиях, выполнение задания, категорию пропущенных данных и уровень награждения в протокольной когорте. Указывайте уровень награждения только для протокольной когорты, если только в контрольной когорте не использовалась такая же структура наград.
3. Сравните базовые характеристики, используя t-критерии для независимых выборок, критерии хи-квадрат или точный критерий Фишера, в зависимости от ситуации, чтобы описать сопоставимость исходных данных, а не причинную эквивалентность.
4. Сравните изменение знаний внутри когорты, используя t-критерии для парных выборок или критерий знаковых рангов Уилкоксона. Сравните результаты после прохождения курса между когортами, используя t-критерии для независимых выборок, U-критерий Манна-Уитни, ANCOVA или регрессионные модели с поправкой на исходные различия. Интерпретируйте все сравнения когорт как анализ образовательных записей в конкретном контексте, а не как причинно-следственные оценки.
5. Используйте модели с повторными измерениями или смешанные модели при анализе нескольких временных точек. Включите случайные эффекты на уровне студентов для повторных измерений и случайные эффекты на уровне команд или кластерно-устойчивые стандартные ошибки, если студенты объединены в команды.
6. Анализируйте результаты на уровне команд отдельно от результатов на уровне студентов. Не рассматривайте командные баллы как независимые индивидуальные наблюдения, если проблема кластеризации не была решена.
7. Приведите значение d Коэна для значимых различий средних, где 0,20, 0,50 и 0,80 интерпретируются как малый, средний и большой эффекты соответственно. По возможности указывайте 95% доверительные интервалы и сравнивайте результаты по полным случаям (complete-case) с результатами по доступным случаям (available-case) в рамках анализа чувствительности.
8. Сохраните статистический скрипт, вывод программного обеспечения, исходные файлы рисунков и итоговые таблицы. Представьте все таблицы в виде отдельных редактируемых файлов и архивируйте исходные данные для рисунков.

14. Интерпретация успешного и субоптимального выполнения.

1. Определите критерии успешности внедрения перед интерпретацией окончательных результатов. Протокол считается успешно внедренным, если соблюдены основные пороги точности, указанные в Таблице 4.
2. Интерпретируйте результаты обучения только после проверки точности воспроизведения, надежности оценки, паттернов пропусков данных, сопоставимости исходного уровня и единицы анализа.
3. При условии достаточной точности воспроизведения, расценивайте следующие показатели как положительные сигналы внедрения: увеличение знаний после курса на ≥5 баллов, преимущество в индивидуальном анализе конкретных случаев в конце семестра на ≥3 балла или рост индикатора процесса обучения на ≥0,30 по 5-балльной шкале.
4. Определите предупреждающие паттерны перед началом анализа: эффект потолка, когда исходные знания превышают 85/100 или исходный уровень удовлетворенности превышает 4,50/5; завышение баллов, когда командные показатели улучшаются без доказательств индивидуального обучения; чрезмерное конкурентное давление, когда удовлетворенность снижается на >0,30 балла или >20% студентов сообщают о высокой нагрузке.
5. Рассматривайте оценку как многоуровневый процесс — от точности внедрения до реакции студентов, доказательств обучения и совершенствования курса, а не как единый балл¹⁸. Избегайте причинно-следственных формулировок, поскольку в дизайне исследования используются обычные учебные когорты, историческая группа сравнения и ретроспективные обезличенные записи курсов, а не рандомизированное распределение.

15. Проведите поиск и устранение неисправностей, адаптацию и итерацию курса.

1. Проверяйте точность соблюдения протокола после каждой основной задачи и выявляйте такие проблемы, как запоздалая обратная связь, низкая активность участников команды, неясные инструкции, незаполненные формы оценки, отсутствие наблюдений, недостаточная проработка дизайна клинического случая, разногласия между экспертами или ненадлежащее использование ИИ.
2. Применяйте корректирующие действия, указанные в Дополнительной таблице S2, включая пересмотр инструкций, дополнительный коучинг, переподготовку экспертов, перераспределение ролей, корректировку рабочей нагрузки или институциональную проверку соблюдения принципов академической честности.
3. Для более коротких учебных семестров объедините Задачи 1 и 2 в краткий отчет по диагностике и принятию решений, сохранив при этом итоговую защиту, запись обратной связи и проверки точности соблюдения протокола. Для онлайн-, гибридного или масштабного многогруппового обучения используйте цифровые брифинги, журналы отправки работ, онлайн-опросы для устных проверок, стандартизированные шаблоны обратной связи, общие рубрики оценивания, совместное обучение экспертов, наблюдателей на уровне групп, командные панели мониторинга и централизованное управление данными.
4. После 16-й недели проанализируйте точность соблюдения протокола, показатели процесса, результаты студентов, заметки экспертов, паттерны пропущенных данных, записи об использовании ИИ, комментарии студентов и рефлексию преподавателей. Пересмотрите руководство, пакет материалов по клиническим случаям, рубрики, шаблоны, график обратной связи и формы регистрации данных перед началом следующего цикла.
5. После получения этического одобрения и подготовки исследовательских данных заархивируйте карту протокола, график, руководство, файлы клинических случаев, рубрики, формы наблюдений, инструменты опроса, деидентифицированный набор данных, словарь данных, скрипт анализа, статистические результаты, исходные файлы рисунков, таблицы и дополнительные материалы. Зафиксируйте все изменения в таблице контроля версий.

Результаты

Представленные результаты демонстрируют итоги применения протокола по совершенствованию курса «Стратегический менеджмент», интегрированного в 16-недельное соревнование. Результаты структурированы по точности реализации, качеству обучения, исходам на уровне студентов, исходам на уровне команд и предопределенным предупреждающим паттернам. Поскольку данные были получены от обычных образовательных групп с исторической контрольной группой, а не путем рандомизированного распределения, все результаты следует интерпретировать как выходные данные реализации и оценки в конкретном контексте, а не как причинно-следственное доказательство эффективности.

Точность реализации и качество обучения

Доступный набор данных образовательных записей включал 88 студентов в когорте исторического сравнения и 92 студентов в когорте протокола. Набор данных на уровне команд включал 22 команды из когорты сравнения и 23 команды из когорты протокола. После применения правила парного предварительного и последующего тестирования знаний для анализа прироста знаний были отобраны 79 студентов из когорты сравнения и 84 студента из когорты протокола.

Точность реализации протокола была проверена перед интерпретацией результатов обучения. Группа протокола выполнила 15 из 16 запланированных еженедельных мероприятий (93,8%), в то время как контрольная группа выполнила 13 из 16 (81,3%). Сессия по решению структурированного или комплексного кейса была проведена в группе протокола, но не входила в структуру исторического сравнения. В группе протокола 88 из 92 студентов выполнили все три задания конкурса, что составило 95,7%. В контрольной группе 18 из 88 студентов имели полные записи по трем сопоставимым проектным оценкам, что составило 20,5%; эти записи были сохранены только для описательного сравнения, поскольку в историческом курсе не была реализована полная последовательность конкурсных заданий. Обратная связь была предоставлена в течение 7 календарных дней для 243 из 268 работ группы протокола (90,7%) по сравнению с 49 из 66 работ контрольной группы (74,2%). Среднее время предоставления обратной связи составило 5,8 ± 1,9 дня и 8,4 ± 2,7 дня соответственно. Доля завершенных наблюдений составила 81,3% и 62,5%. Коэффициент внутриклассовой корреляции (ICC) для двух оценивающих в группе протокола при перекрывающемся субъективном скоринге составил 0,82, что превысило заданный порог 0,75. В целом группа протокола достигла 5 из 5 основных показателей точности реализации, тогда как контрольная группа достигла 2 из 5.

Показатели качества обучения были выше в когорте с использованием протокола. Взаимодействие в аудитории составило 3,70 ± 0,44 в когорте с протоколом и 3,15 ± 0,48 в контрольной когорте. Полнота разработки кейсов составила 4,08 ± 0,36 и 3,23 ± 0,42 соответственно. Соответствие заданий критериям оценки составило 4,01 ± 0,39 и 2,30 ± 0,51. Вовлеченность студентов в когорте с протоколом увеличилась на 0,42 ± 0,41 балла, что превысило заранее определенный порог значимости в 0,30 балла, в то время как в контрольной когорте прирост составил 0,07 ± 0,34 балла. Посещаемость была схожей в обеих когортах: 89,6% ± 5,8% и 89,1% ± 6,2%. В Таблице 5 обобщены данные показатели.

Индикатор	Источник данных	Предопределенный порог	Историческая когорта сравнения	Когорта протокола	Интерпретация
Запланированное выполнение еженедельных мероприятий	Журнал реализации курса	≥85%	13/16 недель, 81,3%	15/16 недель, 93,8%	Достигнуто в когорте протокола
Реализация на уровне предприятия или в формате структурированных кейс-сессий	Журнал взаимодействия с предприятием	≥1 проведенных сессии	0/1 сеанс, 0,0%	1/1 сессия, 100,0%	Достигнуто в когорте протокола
Завершение задачи или заполнение привязанной записи о проекте	Записи о подаче материалов	≥85%	18/88 студентов, 20,5%	88/92 студентов, 95,7%	Достигнуто в когорте протокола; исторические записи носят только описательный характер
Обратная связь предоставляется в течение 7 дней	Журнал обратной связи	≥80%	49/66 заявок, 74,2%	243/268 заявок, 90,7%	Достигнуто в когорте протокола
Заполнение контрольного списка наблюдений	Формы наблюдения	≥75%	10/16 сессий, 62,5%	13/16 сессий, 81,3%	Достигнуто в когорте по протоколу
Согласованность двух оценивающих	Баллы экспертов	ККИ ≥ 0,75	Не требуется	ICC = 0,82	Достигнуто в когорте по протоколу
Время обработки обратной связи	Журнал обратной связи	Предпочтительно среднее значение ≤7 дней	8,4 ± 2,7 дня	5,8 ± 1,9 дня	В пределах предпочтительного диапазона в когорте протокола
Взаимодействие в аудитории	Контрольный список наблюдений	Среднее значение ≥3,50 или прирост ≥0,30	3.15 ± 0.48	3.70 ± 0.44	Более высокая концентрация в когорте протокола
Полнота дизайна исследования	Контрольный список по дизайну кейс-стади	Предпочтительно среднее значение ≥ 4,00	3.23 ± 0.42	4.08 ± 0.36	Более высокий показатель в когорте по протоколу
Соответствие заданий критериям оценивания	Контрольный список по выравниванию	Среднее значение ≥ 4,00	2.30 ± 0.51	4.01 ± 0.39	Достигнуто в когорте протокола
Повышение вовлеченности студентов	Посещаемость, журналы, пункты опроса	Увеличение ≥0,30 балла	+0.07 ± 0.34	+0.42 ± 0.41	Достигнуто в когорте протокола
Посещаемость	Журнал посещаемости	Описательный	89.1% ± 6.2%	89.6% ± 5.8%	Схожесть между когортами
Основное резюме точности реализации	Показатели реализации	Большинство основных пороговых значений достигнуто	достигнуто 2 из 5 пороговых значений	Достигнуты пороговые значения 5/5	Протокол реализован в соответствии с планом

Таблица 5: Репрезентативные показатели точности реализации и качества обучения. В этой таблице представлены репрезентативные результаты точности реализации и качества обучения для когорты исторического сравнения и когорты по протоколу, а также указано, были ли достигнуты заранее определенные операционные пороговые значения.

Рисунок 2 демонстрирует профиль точности реализации и качества обучения. На рисунке 2A показано выполнение запланированных еженедельных мероприятий. На рисунке 2B показано выполнение последовательности из трех заданий. На рисунке 2C показано предоставление обратной связи в течение 7 календарных дней. На рисунке 2D показаны взаимодействие в классе, полнота разработки кейса, соответствие заданий критериям оценки и прирост вовлеченности студентов. На рисунке 2E показано завершение наблюдений и завершение корпоративных или структурированных сессий по кейсам. Показатели точности, выраженные в процентах, и индикаторы обучения, основанные на шкалах, следует интерпретировать в рамках соответствующих шкал измерения.

Рисунок 2: Профиль точности реализации и качества обучения. На этом рисунке обобщены показатели точности реализации и качества обучения для когорты исторического сравнения и когорты протокола. (A) Выполнение запланированных еженедельных мероприятий. (B) Завершение полного задания или сопоставимого проекта, с разграничением полной последовательности из трех заданий в когорте протокола и сопоставимых записей проектов в когорте исторического сравнения. (C) Обратная связь, полученная в течение 7 календарных дней; время обработки обратной связи приведено в качестве дополнительной информации. (D) Показатели качества обучения, включая взаимодействие в классе, полноту разработки кейсов, соответствие заданий критериям оценивания и прирост вовлеченности студентов. (E) Заполнение контрольного списка наблюдений и реализация сессий по корпоративным или структурированным кейсам. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Результаты обучения для студентов

Результаты на уровне студентов анализировались отдельно от результатов соревнований на уровне команд. Исходные показатели знаний составили 64,18 ± 8,74 в когорте протокола и 62,37 ± 8,91 в контрольной когорте, при этом небольшая исходная разница составила 1,81 балла (d = 0,21). Показатели знаний после курса составили 71,08 ± 8,58 и 66,41 ± 9,06, с разницей в 4,67 балла (d = 0,53). Прирост знаний составил 6,90 ± 5,41 балла и 4,04 ± 5,26 балла, с разницей в 2,86 балла (d = 0,54). Когорта протокола превысила заранее определенный порог прироста знаний в 5 баллов.

Показатели индивидуального анализа клинических случаев в конце семестра составили 82.31 ± 7.06 в основной группе (группе протокола) и 76.42 ± 7.38 в контрольной группе, разница составила 5.89 балла (d = 0.82). Этот результат интерпретировался как показатель успеваемости по окончании курса, а не как парный прирост, поскольку истинная исходная оценка анализа случаев не проводилась. Уровень удовлетворенности составил 3.66 ± 0.58 и 3.34 ± 0.62 (d = 0.53). Воспринимаемая практическая значимость составила 3.91 ± 0.55 и 3.41 ± 0.59 (d = 0.88). Давление конкуренции было выше в основной группе — 3.12 ± 0.76 по сравнению с 2.48 ± 0.71 (d = 0.87), однако высокая нагрузка была отмечена 13 из 92 студентов основной группы, что соответствует 14.1%, ниже заранее определенного предупредительного порога в 20%. Итоговый балл за курс рассматривался как вторичный образовательный результат и составил 87.20 ± 6.10 в основной группе и 84.80 ± 6.70 в контрольной группе (d = 0.37). В Таблице 6 обобщены результаты на уровне отдельных студентов и команд.

Результат	Уровень	Историческая контрольная группа	Группа протокола	Разница	Размер эффекта	Интерпретация
Доступная выборка образовательных записей	Студент	n = 88	n = 92	—	—	Используемые обезличенные записи о курсе
Парная выборка анализа знаний	Студент	n = 79	n = 84	—	—	Студенты с исходными и итоговыми показателями знаний по курсу
Исходный показатель знаний	Студент	62.37 ± 8.91	64.18 ± 8.74	1.81	0.21	Незначительная исходная разница
Итоговый показатель знаний по курсу	Студент	66.41 ± 9.06	71.08 ± 8.58	4.67	0.53	Выше в группе протокола
Прирост знаний	Студент	4.04 ± 5.26	6.90 ± 5.41	2.86	0.54	Группа протокола превысила порог значимости ≥5 баллов
Индивидуальный балл анализа кейса	Студент	76.42 ± 7.38	82.31 ± 7.06	5.89	0.82	Превышен порог значимости анализа кейса ≥3 баллов
Прирост вовлеченности студентов	Студент	+0.07 ± 0.34	+0.42 ± 0.41	+0.35	0.93	Превышен порог значимости ≥0.30 баллов
Показатель удовлетворенности	Студент	3.34 ± 0.62	3.66 ± 0.58	0.32	0.53	Выше в группе протокола
Воспринимаемая практическая значимость	Студент	3.41 ± 0.59	3.91 ± 0.55	0.5	0.88	Выше в группе протокола
Показатель давления конкуренции	Студент	2.48 ± 0.71	3.12 ± 0.76	0.64	0.87	Более высокое давление в группе протокола
Давление из-за высокой нагрузки	Студент	Не оценивалось как давление конкуренции	13/92, 14.1%	—	—	Ниже предупредительного порога 20%
Итоговый балл по курсу	Студент	84.80 ± 6.70	87.20 ± 6.10	2.4	0.37	Вторичный образовательный результат
Количество команд	Команда	n = 22	n = 23	—	—	Анализ на уровне команд представлен отдельно
Опыт прохождения раунда принятия решений	Команда	0.77 ± 0.81 раундов	5.09 ± 0.79 раундов	4.32	Не оценивалось	Индикатор опыта внедрения
Балл за Задание 1 или соответствующий диагноз	Команда	69.84 ± 6.45	72.18 ± 6.28	2.34	0.37	Умеренная разница на уровне команд
Балл за Задание 2 или соответствующее решение	Команда	71.09 ± 6.12	73.52 ± 5.91	2.43	0.4	Умеренная разница на уровне команд
Балл за Задание 3 или соответствующую финальную защиту	Команда	72.71 ± 6.36	77.20 ± 6.04	4.49	0.72	Наибольшая разница на уровне команд
Итоговый балл команды	Команда	71.21 ± 5.81	74.30 ± 5.52	3.09	0.55	Средняя разница на уровне команд
Критерий стратегического диагноза	Команда	14.60 ± 1.80	15.60 ± 1.70	1	—	Критерий рубрики финальной защиты
Критерий стратегического выбора	Команда	17.90 ± 2.20	19.10 ± 2.10	1.2	—	Критерий рубрики финальной защиты
Критерий осуществимости внедрения	Команда	14.40 ± 1.90	15.50 ± 1.80	1.1	—	Критерий рубрики финальной защиты
Критерий инновационности	Команда	10.80 ± 1.60	11.50 ± 1.50	0.7	—	Критерий рубрики финальной защиты
Критерий использования доказательств	Команда	7.10 ± 1.00	7.50 ± 0.90	0.4	—	Критерий рубрики финальной защиты
Критерий устной защиты	Команда	7.91 ± 1.10	8.00 ± 1.00	0.09	—	Критерий рубрики финальной защиты
Средний вклад коллег	Команда	3.72 ± 0.41	3.91 ± 0.36	0.19	0.49	Отсутствие серьезных сбоев в командном процессе
Команды с дисбалансом вклада	Команда	4/22, 18.2%	3/23, 13.0%	−5.2 процентных пункта	—	Отсутствие систематического паттерна дисбаланса
Распределение наград	Команда	Не применимо	10 нет; 8 третьих; 2 вторых; 3 первых	—	—	Только для группы протокола
Паттерн предупреждения о завышении баллов	Команда	Не применимо	2/23 команды, 8.7%	—	—	Отмечено для устранения проблем

Таблица 6: Репрезентативные показатели на уровне студентов и команд. В данной таблице представлены репрезентативные показатели на уровне студентов и команд, включая доступную выборку из образовательных записей, парную выборку для анализа знаний, баллы за проверку знаний, прирост знаний, индивидуальный балл за анализ кейса, уровень вовлеченности, удовлетворенность, воспринимаемую практическую значимость, нагрузку, итоговый балл за курс, баллы за командные задания, баллы по критериям оценки итоговой защиты, вклад коллег, распределение наград и индикаторы предупреждений.

Рисунок 3 представлены результаты студенческого уровня с оценками неопределенности, где это применимо. Рисунок 3A представлены показатели знаний до и после прохождения курса. Рисунок 3B свидетельствует о приобретении знаний. Рисунок 3C демонстрирует эффективность анализа отдельных случаев. Рисунок 3D демонстрирует рост вовлеченности, удовлетворенности и воспринимаемой практической значимости. Рисунок 3E показывает итоговый балл за курс в качестве вторичного исхода.

Рисунок 3: Репрезентативные результаты обучения на уровне студентов.На данном рисунке представлены результаты на индивидуальном уровне отдельно от результатов командных соревнований. (A) Исходные баллы и баллы после курса по знаниям в области стратегического менеджмента. (B) Прирост знаний от исходного до итогового оценивания после курса. (C) Индивидуальный балл за анализ кейса в конце семестра. (D) Прирост вовлеченности и показатели восприятия по данным опроса, включая удовлетворенность и воспринимаемую практическую значимость; там, где это необходимо, используются отдельные шкалы. (E) Итоговый балл за курс как вторичный образовательный результат и высокое давление рабочей нагрузки в когорте протокола относительно предопределенного предупредительного порога. Значения представлены как mean ± SD там, где указаны значения ±, а планки погрешностей соответствуют SD. На графике (E) пунктирная справочная линия указывает на предопределенный предупредительный порог высокой рабочей нагрузки в 20%. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Результаты соревнований на уровне команд

Результаты на уровне команд анализировались отдельно от результатов на уровне студентов. Для описательного отчета записи о проектах контрольной когорты были сопоставлены с аналогичными точками оценки, когда таковые имелись, однако эти записи не означали завершения всей интегрированной последовательности конкурса. Прохождение раундов принятия решений рассматривалось как индикатор реализации программы, а не как оценка эффекта обучения. Когорта основного протокола прошла 5.09 ± 0.79 раундов принятия решений, в то время как контрольная когорта прошла 0.77 ± 0.81 сопоставимых раунда.

В группе протокола средний балл за Задание 1 составил 72.18 ± 6.28, средний балл за Задание 2 — 73.52 ± 5.91, а средний балл за Задание 3 — 77.20 ± 6.04. Соответствующие сопоставимые баллы в контрольной группе составили 69.84 ± 6.45, 71.09 ± 6.12 и 72.71 ± 6.36. Итоговый командный балл составил 74.30 ± 5.52 в группе протокола и 71.21 ± 5.81 в контрольной группе. Показатели критериев оценки итоговой защиты или сопоставимого итогового проекта были следующими: стратегическая диагностика — 15.60 ± 1.70 и 14.60 ± 1.80; стратегический выбор — 19.10 ± 2.10 и 17.90 ± 2.20; осуществимость реализации — 15.50 ± 1.80 и 14.40 ± 1.90; инновационность — 11.50 ± 1.50 и 10.80 ± 1.60; использование доказательств — 7.50 ± 0.90 и 7.10 ± 1.00; и устная защита — 8.00 ± 1.00 и 7.91 ± 1.10 соответственно.

Распределение наград было представлено только для протокольной когорты, поскольку в контрольной когорте не использовалась полная структура соревнований с присуждением наград. В протокольной когорте 10 команд не получили наград, 8 получили третий приз, 2 получили второй приз и 3 получили первый приз. Средний вклад сверстников составил 3,91 ± 0,36 в протокольной когорте и 3,72 ± 0,41 в контрольной когорте. Дисбаланс вкладов был выявлен в 3 из 23 команд протокольной когорты и в 4 из 22 команд контрольной когорты. Паттерн предупреждения о завышении баллов был выявлен в 2 из 23 команд протокольной когорты, что соответствует 8,7%.

Рисунок 4 представляет результаты на уровне команд и паттерны предупреждений. Рисунок 4A демонстрирует баллы команд за Задание 1, Задание 2 и Задание 3. Рисунок 4B показывает баллы по критериям рубрики итоговой защиты. Рисунок 4C отображает только распределение наград по когортам протоколов. Рисунок 4D показывает случаи предупреждений о завышении баллов. Рисунок 4E демонстрирует баланс вклада участников и количество случаев дисбаланса вклада.

Рисунок 4: Результаты соревнований на уровне команд и паттерны предупреждений.На данном рисунке представлены результаты на уровне команд отдельно от результатов обучения на уровне студентов. (A) Баллы команд на разных этапах выполнения заданий: стратегическая диагностика (Задание 1), стратегическое решение (Задание 2) и финальная защита (Задание 3); для когорты исторического сравнения, где это возможно, указаны соответствующие баллы по проектам. (B) Баллы по критериям рубрики финальной защиты, включая стратегическую диагностику, стратегический выбор, осуществимость реализации, инновационность, использование доказательств и устную защиту. (C) Распределение наград только для когорты протокола, поскольку в когорте исторического сравнения не использовалась полная структура соревнований с наградами. (D) Паттерн предупреждения об «инфляции баллов», определяемый как высокая эффективность финальной защиты при отсутствии поддерживающей диагностической базы или доказательств индивидуального обучения. (E) Балл за вклад сверстников и количество случаев дисбаланса вклада представлены в качестве отдельных индикаторов на уровне команд. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Субоптимальные паттерны и индикаторы для поиска и устранения неисправностей

У двух из 23 команд протокольной когорты наблюдался заранее определенный паттерн предупреждения о завышении баллов. Эти команды имели относительно высокие итоговые баллы за защиту, но более низкие диагностические баллы по Заданию 1 и ниже среднего прирост индивидуальных знаний. Данный паттерн был отмечен для последующего анализа в следующем цикле курса, а не интерпретирован как свидетельство улучшения обучения. Значительного эффекта потолка обнаружено не было, так как исходные баллы за знания были ниже 85 из 100, а исходный уровень удовлетворенности — ниже 4,50 из 5. Посещаемость в когортах была схожей, и систематического дисбаланса вклада членов команд не наблюдалось, хотя три команды протокольной когорты потребовали мониторинга.

В целом, репрезентативные результаты показали, что данный протокол позволил получить интерпретируемые данные на трех уровнях: точность реализации, доказательства обучения на уровне студентов и показатели эффективности соревнований на уровне команд. Случаи, вызвавшие предостережения, подтвердили применимость протокола для мониторинга курса, поиска и устранения неисправностей, а также последующей доработки курса.

Обезличенный набор данных, поддерживающий данное исследование, был размещен на сайте figshare.com и доступен по адресу https://doi.org/10.6084/m9.figshare.33094931. Набор данных включает записи на уровне студентов, записи о соревнованиях на уровне команд, показатели реализации, записи о потоке участников, записи аудита пропущенных данных и записи баллов оценщиков. Идентификаторы студентов, записи о согласии, файлы связей и идентифицируемые текстовые комментарии в свободной форме не включены.

Дополнительная таблица S1: Обучение экспертов, согласованность оценок и процедура выравнивания баллов. В данной таблице представлены сведения о назначении экспертов, проверке независимости, ознакомлении с критериями оценки, калибровочном оценивании, проверке согласованности оценок, правиле разрыва в баллах, процедуре выравнивания, аудите ввода данных, блокировке баллов и процедуре архивирования.Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительная таблица S2: Матрица устранения неполадок при отклонениях от протокола и неоптимальном выполнении.В этой таблице перечислены отклонения от протокола и паттерны неоптимального выполнения, включая триггерные правила, корректирующие действия, необходимые записи и примечания по интерпретации.Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительная таблица S3: Структура набора данных и словарь переменных для деидентифицированного образовательного набора данных.В этой таблице определены переменные на уровне студента, команды и сессии занятия, включая коды переменных, описания, типы данных, диапазоны кодирования, источники данных и правила обработки пропущенных данных.Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительный файл 1: Операционные шаблоны, оценочные материалы и рабочая книга с деидентифицированным набором данных.Данный дополнительный файл содержит операционные шаблоны, оценочные материалы, формы подсчета баллов, пункты опроса, проверку дизайна кейсов, правила обработки пропущенных данных, структуру рабочей книги с деидентифицированным набором данных, журнал очистки, шаблон резюме анализа и запись о контроле версий, используемые для обеспечения воспроизводимости.Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Обсуждение

Данный протокол предлагает воспроизводимый подход к внедрению последовательности «обучение-соревнование» в курс стратегического менеджмента для студентов бакалавриата. Его цель состоит не в том, чтобы просто добавить соревновательное мероприятие в существующий курс, а в том, чтобы превратить соревнование в структурированный процесс совершенствования курса, который связывает стратегическую диагностику, принятие решений, формирующее оценивание, финальную защиту и итоговую оценку по окончании курса. Таким образом, образовательная ценность зависит от дизайна этой последовательности, а не от самого факта наличия соревнования. Деятельность, основанная на соревновании или игровых элементах, может повысить уровень участия, однако ее образовательную ценность становится трудно интерпретировать, если цели обучения, результаты заданий, критерии оценки и записи данных не определены четко¹⁹. Настоящий протокол решает эту проблему, определяя последовательность обучения, рубрики оценивания, период предоставления обратной связи, записи о реализации и структуру деидентифицированных данных, необходимых для репликации.

Центральным принципом проектирования является согласованность. Каждое задание связано с результатом обучения по курсу, темой занятия, результатом работы студента и критерием оценивания. Задание 1 требует от студентов диагностировать стратегическую проблему, Задание 2 — выбрать и обосновать стратегическое решение, а Задание 3 — защитить итоговую стратегию с помощью письменных и устных доказательств. Такая последовательность «диагностика — решение — защита» призвана предотвратить восприятие конкурса студентами лишь как упражнения по созданию презентации. Это также дает студентам многократные возможности пересмотреть свои аргументы перед финальной защитой. Данная структура соответствует исследованиям в области обучения на базе симуляций и эмпирического обучения, согласно которым прикладное обучение оказывается более эффективным, когда студенты участвуют в активных циклах принятия решений, получают обратную связь и объясняют свой выбор, а не просто наблюдают за сценарием или проходят его^20,21.

Для обеспечения надлежащей работы протокола необходимы несколько этапов контроля качества. Во-первых, обратная связь должна предоставляться достаточно своевременно, чтобы повлиять на выполнение следующего задания. Таким образом, 7-дневное окно обратной связи используется как требование к педагогическому дизайну, а не просто как административная цель. Во-вторых, необходимо контролировать качество оценивания. Рубрики могут повысить прозрачность, но только в том случае, если оценивающие имеют общее понимание дескрипторов и требований к доказательствам²². По этой причине протокол включает обучение оценивающих, калибровочное оценивание, проверку разрывов в баллах, мониторинг ICC, примечания по согласованию и блокировку баллов. В-третьих, показатели эффективности команды должны быть отделены от свидетельств индивидуального обучения. Высокий итоговый балл за защиту может отражать качество презентации или неравномерный вклад участников команды, а не широту индивидуальных знаний. Следовательно, в рамках протокола отдельно анализируются баллы за проверку знаний, индивидуальные баллы за анализ кейсов, восприятие студентов, вклад сверстников и командные баллы.

Протокол также включает правила устранения неполадок, поскольку обучение с использованием интегрированных соревнований может давать сбои предсказуемым образом. Обратная связь может быть задержана, вклад участников команды может стать неравномерным, студенты могут слишком полагаться на внешнюю polished-оформленность презентации, а групповые баллы могут вырасти без соответствующего подтверждения индивидуального обучения. Эти риски отслеживаются с помощью журналов обратной связи, записей о вкладе однокурсников, форм раскрытия использования ИИ, устных проверок, данных о согласованности оценок рецензентов и правил предупреждения о завышении баллов. Компоненты раскрытия использования ИИ и устной проверки особенно важны, так как студенты могут использовать цифровые инструменты для улучшения языка, форматирования или мозгового штурма, однако они по-прежнему должны продемонстрировать собственное стратегическое мышление. Протокол не запрещает любую поддержку ИИ, но требует раскрытия информации и защищает основную задачу обучения: студенты должны быть способны объяснить диагноз, привести доказательства, описать логику принятия решения, риски реализации и итоговую рекомендацию.

Протокол может быть адаптирован под особенности конкретного учебного заведения, однако основная последовательность этапов должна быть сохранена. В случае отсутствия платформы для бизнес-симуляции в качестве замены раунда симуляции может быть использован структурированный лист принятия решений. Если корпоративные менторы не могут присутствовать, допускается использование анонимизированного кейса, публичного брифинга по кейсу или записанного комментария ментора. Для больших групп могут потребоваться параллельные судейские коллегии и стандартизированные шаблоны обратной связи, в то время как для меньших групп возможны более длительные сессии защиты. Данные адаптации должны быть задокументированы, поскольку протоколы улучшения курса зависят не только от дидактической идеи, но и от точности реализации, поддержки преподавателя, условий оценивания и полноты данных²³. Основным требованием является сохранение в курсе взаимосвязанной последовательности: диагностика, принятие решения, защита, обратная связь и оценка.

Следует признать ряд ограничений. Данный протокол направлен на улучшение курса и не является рандомизированным контролируемым исследованием. Таким образом, различия между когортой протокола и контрольной когортой следует интерпретировать как результаты внедрения и оценки, а не как причинное доказательство эффективности. Исторические или параллельные контрольные когорты могут отличаться по составу студентов, динамике в классе, институциональным срокам или условиям аттестации. Итоговые баллы за курс также являются вторичными результатами, поскольку они могут включать рутинные компоненты курса, помимо конкурсных заданий. Кроме того, результаты на уровне команд не могут быть использованы в качестве замены результатов обучения на уровне отдельных студентов. Эти ограничения учитываются путем раздельного представления данных о точности реализации, показателях качества обучения, результатах на уровне студентов, результатах на уровне команд, нагрузке и закономерностях возникновения предупреждений²⁴.

Данный протокол наиболее подходящ для курсов, в которых студенты должны связать концептуальные знания с прикладным управленческим суждением. Стратегический менеджмент является естественной средой для этого, так как от студентов ожидается анализ внешней среды, оценка ресурсов, сравнение стратегических вариантов и обоснование выбора способов реализации. Аналогичную структуру можно адаптировать для курсов по предпринимательству, маркетинговой стратегии, управлению инновациями, проектированию бизнес-моделей и других управленческих дисциплин, требующих принятия решений на основе фактических данных. Более широкий вклад данного метода носит практический характер: он предоставляет преподавателям проверяемый способ документирования того, как осуществлялись внедрение, мониторинг, оценка, деидентификация, анализ и пересмотр деятельности по улучшению курса. В управленческом образовании эмпирическое обучение часто ценится за реалистичность, однако его процедуры не всегда описываются достаточно детально для воспроизведения. Настоящий протокол устраняет этот пробел, объединяя точность реализации, согласованность оценки, управление данными и поиск неисправностей в единый воспроизводимый процесс²⁵.

Материалы

Список материалов, использованных в этой статье

Имя	Компания	Каталожный номер	Комментарии
Форма раскрытия использования ИИ	Разработанный авторами	Раскрытие информации об использовании ИИ-v1.0; Дополнительный файл 1	В отчетах было указано использование ИИ для каждого основного документа, представленного на рассмотрение
Базовый тест по знаниям в области стратегического менеджмента	Разработано автором	SMKT-Pre-v1.0; Дополнительный файл 1	Оценка базового уровня знаний на 1-й неделе
Контрольный список для наблюдения за учебным процессом в аудитории	Разработано автором	Наблюдение-v1.0; Дополнительный файл 1	Регистрация качества взаимодействия в классе и процесса обучения
Журнал очистки	Разработанный автором	Журнал-очистки-v1.0; Дополнительный файл 1	Проверка данных, внесение исправлений, исключение данных и блокировка наборов данных
Руководство для участников конкурса	Разработанный автором	Руководство-v1.0; Дополнительный файл 1	Определяет последовательность выполнения заданий, правила подачи работ, критерии оценивания, раскрытие использования ИИ, устные проверки, порядок апелляций и сроки исполнения
Словарь данных	Разработано автором	Словарь данных-v1.0; Дополнительная таблица 2	Определяет переменные, диапазоны кодирования, источники данных и правила обработки пропущенных данных
Рабочая книга деидентифицированного набора данных	Разработанный автором	Набор данных-Рабочая тетрадь-v1.0; Дополнительный файл 1	Содержит переменные на уровне студента, уровне команды и уровне учебного занятия
Пакет корпоративных или анонимизированных клинических случаев	Разработанный автором или утвержденный организацией	CasePack-v1.0; Дополнительный файл 1	Обеспечивает контекст для принятия стратегических решений
Шаблон слайдов для финальной защиты	Разработанный автором	FSD-Template-v1.0; Дополнительный файл 1	Структура презентации для Задания 3 Руководства
Форма оценки итоговой защиты стратегии	Разработано авторами	FSDSF-v1.0; Дополнительный файл 1	Регистрирует баллы экспертов по заданию 3 и Q&оценка amp;A
IBM SPSS Statistics	IBM	Версия 27.0; институциональная или персональная лицензия	Описательная статистика, сравнение групп, величины эффекта и анализ коэффициента внутриклассовой корреляции (ICC)
Лист задания для индивидуального анализа клинического случая	Разработанный авторами	ICATS-v1.0; Дополнительный файл 1	Определяет требования к анализу отдельных случаев и области оценки
Ключи к тесту по проверке знаний	Разработано авторами	SMKT-Key-v1.0; Дополнительный файл 1	Поддерживает подсчет баллов за тест на проверку знаний
Microsoft Excel	Microsoft	Excel 2021; институциональная или персональная лицензия	Ввод данных, словарь данных, журнал очистки данных, подготовка таблиц и проверка исходных данных
Форма регистрации результатов полости рта	Разработанный автором	Oral-Check-v1.0; Дополнительный файл 1	Регистрирует ответы и вопросы в ходе индивидуальных устных проверок
Форма подтверждения вклада авторов	Разработано авторами	PCF-v1.0; Дополнительный файл 1	Регистрация вклада коллег и дисбаланса вкладов
Опрос по итогам обучения	Разработанный автором	PCLS-v1.0; Дополнительный файл 1	Оценивает удовлетворенность, релевантность, полезность обратной связи, сотрудничество, рабочую нагрузку и воспринимаемое улучшение
Итоговый тест по курсу «Стратегический менеджмент»	Разработано автором	SMKT-Post-v1.0; Дополнительный файл 1	Оценка знаний по окончании курса на 16-й неделе с использованием эквивалентной формы теста
Файл для обучения экспертов-оценщиков	Разработано автором	Обучение экспертов-оценщиков-v1.0; Дополнительный файл 1	Предоставляет калибровочные файлы, дескрипторы, примеры и типичные ошибки при подсчете результатов
Файл с результатами статистической обработки	Сгенерировано программным обеспечением	Статистические данные-v1.0; архивировано с заблокированной папкой анализа	Сохраняет статистические результаты вместе с файлом анализа и версией набора данных
Лист принятия стратегических решений	Разработан авторами	SDS-v1.0; Дополнительный файл 1	Результат принятия решения по Задаче 2 для руководств
Шаблон отчета о стратегической диагностике	Разработанный авторами	SDR-Template-v1.0; Дополнительный файл 1	Структура отчета по заданию 1 руководства
Файл связи кодов студентов	Файл с ограниченным доступом, разработанный автором	Связь-код-студента-v1.0; хранится отдельно менеджером данных	Связывает личность студента и исследовательский код до проведения деидентификации
Контрольный список согласования задания и критериев оценивания	Разработанный авторами	Выравнивание-v1.0; Дополнительный файл 1	Проверка согласованности между ожидаемыми результатами обучения, результатами выполнения заданий, критериями оценивания и пунктами обратной связи
Шаблон устава команды	Разработанный автором	Устав команды-v1.0; Дополнительный файл 1	Фиксирует распределение ролей, правила коммуникации, сроки и ожидания по вкладу каждого участника
Журнал процессов команды	Разработано автором	Журнал командных процессов-v1.0; Дополнительный файл 1	Регистрация посещаемости совещаний, принятых решений, прогресса, проблем и последующих действий
Таблица контроля версий	Разработано автором	Версия-контроля-v1.0; Дополнительный файл 1	Отслеживает номер версии, дату, редактора, причину и статус утверждения
Онлайн-платформа для опросов Wenjuanxing	Wenjuanxing	Веб-платформа; доступ через институциональную или пользовательскую учетную запись	Исходный опрос, итоговый опрос по окончании курса, форма оценки вклада коллег и выгрузки с раскрытием использования ИИ