전략 경영 교육에 과정 기반 경진대회 통합하기: 재현 가능한 강의 개선 프로토콜

요약

본 프로토콜은 단계별 팀 과제, 구조화된 피드백, 평가자 교육, 실행 충실도 모니터링, 그리고 학생 및 팀 수준의 개별 결과 검토를 통해 학부 전략 경영 수업에 진단-결정-방어 경쟁 시퀀스를 통합하는 방법을 제시합니다.

초록

전략 경영 교육은 학생들이 불확실하고 자원이 제한적이며 트레이드오프(trade-off)가 발생하는 비즈니스 상황에 분석적 프레임워크를 적용하도록 요구합니다. 강의 내 경진대회는 이를 단순한 일회성 발표 활동이 아닌 구조화된 교수법 시스템으로 조직할 때 이러한 학습 과정을 지원할 수 있습니다. 본 논문은 학부 전략 경영 과정에 3단계 기반의 강의 내 경진대회를 통합하기 위한 재현 가능한 프로토콜을 설명합니다. 이 프로토콜은 기초 평가, 핵심 강의, 기업 사례 소개, 팀 구성, 전략적 진단, 전략적 의사결정 시뮬레이션 또는 의사결정 시트 작성, 최종 전략 방어, 강의 후 평가 및 강의 검토를 포함하는 16주 과정을 따릅니다. 교육 기제는 단계별 연습, 기업 사례 노출, 구조화된 형성적 피드백, 팀 책임감, 구술 방어 및 루브릭 기반 채점을 결합한 형태입니다. 강의실 상호작용, 사례 설계의 완결성, 피드백의 적시성, 과제-루브릭 일치도, 학생 참여도 및 구현 충실도를 모니터링하기 위해 국소적으로 운용되는 프로세스 지표가 사용됩니다. 분석 단위의 오류를 방지하기 위해 학생 수준의 성과, 팀 수준의 경진대회 결과, 평가자 간 일치도, 결측 데이터 패턴, 인공지능 사용 공개 여부 및 점수 인플레이션 경고 패턴을 각각 별도로 분석합니다. 대표 결과가 보고될 때, 이는 소급적이고 비무작위적인 교육 기록 비교를 통한 상황 특정적 구현 결과로 해석해야 하며, 인과적 효과의 증거로 해석해서는 안 됩니다. 본 프로토콜은 강의 개선 주기 내에서 경진대회가 통합된 전략 경영 교육을 설계, 구현, 문서화, 평가 및 개선하기 위한 감사 가능한 절차를 제공합니다.

서론

전략 경영 과정은 학생들이 단순한 개념 회상을 넘어선 능력을 갖출 것을 요구합니다. 학생들은 불완전한 정보와 상충하는 우선순위가 존재하는 조건 하에서 산업 구조, 경쟁 우위, 자원 배분, 전략적 선택 및 실행과 같은 아이디어들을 적용할 수 있어야 합니다. 경쟁 포지셔닝은 기업이 외부 제약 조건 하에서 어떻게 포지션을 선택하는지를 설명하는 반면¹, 자원 기반 관점은 전략적 옵션을 형성하는 기업 특유의 자원과 역량을 강조합니다². 이러한 관점들 덕분에 전략 경영은 학생들이 비즈니스 상황을 진단하고, 전략적 선택을 내리며, 그 선택을 옹호하고, 피드백을 받은 후 논리를 수정하는 응용 교육 설계에 적합합니다. 강의와 개별적인 사례 토론도 여전히 유용하지만, 학생들이 불확실성, 트레이드오프 및 실행 제약을 어떻게 논리적으로 해결하는지 완전히 드러내지 못할 수 있습니다. 과정 기반의 경쟁은 교육 목표, 과제 순서, 채점 기준 및 피드백 주기와 연결될 때만 더욱 도전적인 학습 환경을 조성할 수 있습니다. 이러한 요소들이 없다면, 경쟁은 전략적 추론보다는 발표의 자신감이나 과제 분담 능력에 보상을 주는 결과로 이어질 수 있습니다.

비즈니스 게임 및 시뮬레이션에 관한 선행 연구에 따르면, 이러한 활동이 단순한 강의실 오락이 아닌 교육적 방법으로 기능하기 위해서는 명시적인 규칙, 의사결정 주기, 평가 근거 및 디브리핑이 필요함이 밝혀졌습니다^3,4. 능동적 학습은 단순히 활동 자체보다는 과제 설계에 따라 달라집니다. 학생들은 개념을 피상적으로 적용하면서도 참여하는 것처럼 보일 수 있습니다. 따라서 구조화된 전략 경영 경진대회는 학생들이 상황을 분석하고, 결정의 타당성을 입증하며, 형성적 피드백을 받고, 논거를 수정하며, 실행 계획을 옹호하도록 요구해야 합니다. 이러한 과정은 학생들이 단순히 지시를 듣는 것이 아니라 스스로 논거를 생성, 테스트 및 정교화하기 때문에 능동적 학습 원리를 반영합니다⁵. 또한 경진대회 주기가 구체적인 사례 노출, 성찰적 분석, 의사결정 및 수정된 행동을 연결하므로 경험 학습을 반영하기도 합니다⁶.

출판된 비즈니스 시뮬레이션 및 경진대회 보고서들은 절차적 세부 사항에서 매우 큰 차이를 보입니다. 일부 보고서는 시뮬레이션이나 경진대회의 사용에 대해 설명하지만, 팀 구성, 과제 단계 설정, 피드백 타이밍, 평가자 교육, 루브릭 작성, 결측 데이터 처리 또는 개인 및 팀 성과의 구분과 관련된 정보는 제한적으로 제공합니다. 이전의 리뷰와 분류 체계에서도 비즈니스 게임이 단일한 교육 방법이 아님이 밝혀졌으며, 이들은 규칙, 충실도, 학습자 역할, 의사결정 구조, 기술 활용, 평가 설계 및 디브리핑 절차에서 서로 다릅니다^7,8. 따라서 재현 가능한 전략 경영 프로토콜은 경진대회가 개최되었다는 사실뿐만 아니라, 해당 경진대회가 어떻게 교과 과정에 통합되었으며 그 실행 과정이 어떻게 모니터링되었는지를 명시해야 합니다.

본 프로토콜은 다성분 경쟁 통합형 강의 개선 패키지로 이해하는 것이 가장 적절합니다. 본 프로토콜에는 기업 사례 노출, 반복 실습, 구조화된 피드백, 팀 책임성, 공개 방어, 평가자 보정 및 체계적인 강의 검토가 포함되어 있으므로, 기대되는 교육적 효과를 단순히 경쟁의 결과로만 돌릴 수는 없습니다. 경쟁 요소는 마감 기한, 비교, 책임성 및 공개적 정당화를 생성한다는 점에서 교육적으로 유용하지만, 이러한 요소들은 단계별 학습 과제 및 평가 제어 장치와 의도적으로 결합되어 있습니다. 이 절차는 기존의 경험 중심, 시뮬레이션 기반 및 경쟁 기반 전략 경영 교수법과 세 가지 면에서 차이가 있습니다. 첫째, 경쟁이 단일 최종 발표에 집중되지 않고 진단, 결정, 최종 방어 단계에 걸쳐 단계적으로 진행됩니다. 둘째, 학습 성과를 해석하기 전 실행 충실도를 모니터링합니다. 셋째, 학생 수준의 학습 성과를 팀 수준의 경쟁 결과와 분리합니다. 이러한 구분은 팀이 최종 방어에서 좋은 성과를 거두더라도 일부 구성원은 개별 학습 정도가 제한적일 수 있기 때문에 중요합니다. 팀 학습은 단순한 그룹 멤버십이 아니라 책임성, 상호작용 및 공유된 추론을 필요로 합니다⁹. 따라서 본 프로토콜에서는 팀 헌장, 프로세스 로그, 동료 기여도 양식, 평가자 교육, 평가자 일치도 확인 및 점수 인플레이션 경고 규칙을 사용합니다.

본 프로토콜은 중국 주하이 과학기술대학교 경영대학의 학부 전략 경영 과정의 정규 교육 활동으로 실시되었습니다. 프로토콜 코호트는 2025-2026학년도 가을 학기 SM-2025-F01 강좌 섹션에서 교육을 받았습니다. 비교 코호트는 2024-2025학년도 가을 학기 SM-2024-F01 강좌 섹션에서 교육을 받은 과거 코호트였습니다. 프로토콜 강좌 섹션에는 96명의 학생이 등록하였으며, 윤리 승인 후 연구 데이터 세트에 포함되기 전 94명의 학생이 비식별화된 강의 기록의 연구용 사용에 대해 서면 또는 전자 동의서를 제출하였습니다. 8주 이전에 수강을 철회했거나 유효한 사후 결과가 없는 학생 2명을 제외하여, 최종적으로 92명의 학생이 분석용 프로토콜 코호트를 구성하였습니다. 과거 비교 섹션에는 92명의 학생이 등록하였으며, 윤리 승인 후 소급 추출 전 90명의 학생이 비식별화된 강의 기록의 연구용 사용에 동의하였습니다. 동일한 결측 데이터 및 철회 규칙을 적용하여 2명을 제외하였으며, 최종적으로 88명의 학생이 분석용 비교 코호트를 구성하였습니다.

두 코호트 모두 경영학 전공 3학년 학부생으로 구성되었습니다. 전공으로는 경영학, 마케팅, 이커머스 및 국제경영학이 포함되었습니다. 프로토콜 코호트는 여성 51명과 남성 41명의 학생으로 구성되었으며, 평균 연령은 20.4 ± 0.7세였습니다. 대조 코호트는 여성 49명과 남성 39명의 학생으로 구성되었으며, 평균 연령은 20.5 ± 0.8세였습니다. 이전의 대회 참여 경험은 프로토콜 코호트에서 27명, 대조 코호트에서 24명의 학생이 보고하였습니다. 최종 분석 전 탈락률은 프로토콜 코호트에서 4.2%, 대조 코호트에서 4.3%였습니다. 프로토콜 코호트의 결측치 수는 기초 지식 테스트 2건, 과정 후 지식 테스트 3건, 과정 후 학습 설문 4건, 불완전한 대회 과제 기록 4건이었습니다. 대조 코호트의 결측치 수는 기초 지식 테스트 3건, 과정 후 지식 테스트 4건, 과정 후 학습 설문 5건, 불완전한 대회 과제 기록 70건이었는데, 이는 과거의 교육 과정에 3단계 전체 대회 프로세스가 포함되지 않았기 때문입니다.

대조군 코호트는 완전한 3단계 경쟁 시퀀스가 없는 기존의 사례 기반 전략 경영 수업을 받았습니다. 두 코호트 모두 동일한 강사가 지도하였습니다. 두 코호트는 유사한 강의 학습 성과, 핵심 전략 경영 주제, 지식 평가 범위, 개별 사례 분석 평가 및 최종 강의 성적 산출 구조를 적용하였습니다. 실험군 코호트는 이에 더해 기업 사례 패키지, 단계별 경쟁 과제, 구조화된 피드백 사이클, 공식 팀 프로세스 기록, 평가자 교육 절차 및 실행 충실도 모니터링을 추가로 제공받았습니다. 본 논문은 인과적 효과에 대한 주장보다는 재현 가능한 강의 개선 방법으로서의 프로토콜을 설명합니다. 대표적인 결과는 해당 프로토콜을 통해 생성된 실행 유형, 교육의 질, 학생 수준 및 팀 수준의 결과, 채점 신뢰도, 누락 데이터 및 문제 해결 출력물을 보여줍니다. 본 비교는 과거 데이터 기반의 비무작위 및 특정 상황 기반 연구이므로, 코호트 간의 차이는 단일 실행 맥락 내에서의 강의 개선 증거로 해석해야 하며, 강의 기반 경쟁만으로 관찰된 결과가 도출되었다는 증거로 해석해서는 안 됩니다.

이 프로토콜의 광범위한 목적은 교육자가 경쟁 통합형 전략 경영 교육을 설계, 문서화, 평가 및 개선하는 것을 돕는 것입니다. 이는 교수 활동, 학생 결과물, 채점 루브릭, 실행 기록 및 강의 검토 결정 사항을 연결함으로써 학습 보증을 지원합니다¹⁰. 또한, 과업 설계, 피드백 품질 및 평가 타당성에 충분한 주의를 기울이지 않고 동기 부여만을 강조할 경우 게임과 같은 요소가 엇갈린 결과를 초래할 수 있다는 게이미피케이션 및 경쟁 학습 연구의 우려 사항을 다룹니다^11,12. 예상되는 결과물에는 실행 기록, 지역적으로 실행 가능한 교육 품질 지표, 학생 수준의 학습 성과, 팀 수준의 경쟁 결과, 평가자 간 일치 증거, 인공지능 사용 공개 내역, 누락 데이터 문서 및 문제 해결 기록이 포함됩니다.

프로토콜

두 코호트의 비식별화된 교육 기록을 연구에 사용하는 것은 중국 주하이 과학기술대학교의 교육 연구 윤리 위원회(승인 번호 20260507001; 승인일: 2026년 5월 7일)의 승인을 받았습니다. 승인 범위에는 프로토콜 코호트와 과거 비교 코호트가 포함되었으며, 일반 강의 기록, 설문조사, 강의실 관찰, 팀 프로세스 기록, 경진대회 점수, 평가자 점수, 학습 플랫폼 기록 및 비식별화된 성적부 변수가 포함되었습니다. 16주 과정의 강의는 연구를 위한 데이터 추출 전 일반적인 전략 경영 교육으로 제공되었으며, 윤리 승인 전에는 식별 가능한 연구 데이터셋을 추출, 코딩, 분석 또는 보고하지 않았습니다. 비식별화된 강의 기록의 연구 사용에 대한 서면 또는 전자 동의는 윤리 승인 후 데이터셋 포함 전에 획득되었습니다. 강의 참여는 연구 데이터 사용과 분리되었으며, 동의하지 않은 학생들은 정상적으로 강의를 이수하였으나 연구 분석에서는 제외되었습니다. 동의 기록은 성적부와 별도로 저장되었으며, 코드-식별자 파일은 데이터 관리자만 접근할 수 있도록 제한되었습니다. 분석용 데이터셋은 성적 제출, 동의 확인, 코드 할당, 그리고 직접 식별자와 식별 가능한 자유 텍스트 의견의 제거가 모두 완료된 후에 생성되었습니다.

1. 경진대회 통합 교육과정 개선 프로토콜을 수립합니다.

1. 본 프로토콜을 학부 전략 경영 과목을 위한 16주 과정의 경진대회 통합 강의 개선 프로세스로 정의한다. 교육 메커니즘은 전략 분석, 증거 기반 의사 결정, 피드백, 팀 책임성, 구두 변론 및 강의 검토를 연결하는 단계별 진단-결정-변론 사이클로 구성된다.
2. 강의 품질을 강의실 상호작용, 케이스 설계의 완결성, 피드백의 적시성, 과제-루브릭 일치도 및 학생 참여도로 정의한다. 이행 충실도를 계획된 활동 완료, 기업 또는 케이스 세션 완료, 과제 완료, 피드백 처리 속도, 루브릭 작성 완료, 참관 완료 및 평가자 교육 완료로 정의한다. 신뢰성과 차원적 근거가 통합을 뒷받침하는 경우에만 지표를 합산한다.
3. 구성적 일치도(constructive alignment)¹³를 유지하기 위해 강의 시작 전 학습 성과, 교수 활동, 경진대회 과제, 루브릭, 피드백 시점 및 성과 측정 지표를 정렬한다.
4. 교과목 담당 교수, 경진대회 코디네이터, 기업 연락 담당자, 강의 참관인, 평가 코디네이터 및 데이터 관리자의 역할을 배정한다. 소규모 프로그램에서는 교수 역할이 통합될 수 있으나, 데이터 관리자는 가능한 한 최종 성적 산출 및 연구 데이터셋 준비 과정에서 분리되어야 한다.
5. 강의계획서, 케이스 파일, 핸드북, 과제 템플릿, 루브릭, 참관 양식, 설문지, 팀 기록, 채점표, 피드백 로그, AI 사용 공개 양식 및 버전 관리 기록이 포함된 버전 관리 강의 이행 폴더를 준비한다. 윤리 승인 후, 승인 기록, 동의 확인 기록, 비식별화 로그, 비식별화 데이터셋, 데이터 사전, 클리닝 로그, 분석 스크립트, 통계 출력물, 그림 소스 파일, 표 및 보충 파일이 포함된 연구 재현성 폴더를 생성한다 (그림 1 및 재료 표; 운영 템플릿은 보충 파일 1에 제공됨).

그림 1: 경진대회가 통합된 전략 경영 과정 개선 프로토콜의 워크플로우. 워크플로우는 강의 준비부터 16주간의 정규 강의 시행, 정규 교육 기록 생성, 성적 제출, 윤리위원회 승인을 받은 연구 이용 준비, 동의 확인, 비식별화, 데이터 세트 잠금, 분석, 보고, 문제 해결 및 강의 개선으로 이어지는 순서를 보여줍니다. 이 그림은 정규 교육 활동과 성적 산출 후의 연구 데이터 추출 및 분석 과정을 구분하여 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

2. 학생 코호트를 모집하고 연구 데이터 세트를 준비합니다.

1. 선택된 학부 전략 경영(Strategic Management) 분반에 정식으로 등록한 학생들을 포함한다. 기관, 학년도, 학기, 분반, 코호트 유형, 전공, 학년, 강의 주수, 수업 시간, 등록 인원, 동의한 표본, 제외 대상, 최종 분석 표본, 인구통계학적 특성, 이전 대회 경험, 중도 탈락 및 결측 데이터 수를 기록한다.
2. 전체 대회 통합 프로토콜을 적용받은 학급을 프로토콜 코호트로 정의하고, 3단계 대회 시퀀스가 없는 기존의 사례 기반 전략 경영 교육을 받은 과거 학급을 비교 코호트로 정의한다. 동일한 강사가 두 코호트를 모두 가르쳤는지 여부와 학습 결과, 평가 범위, 개별 사례 분석 요구 사항 및 채점 구조가 유사했는지 여부를 기록한다.
3. 윤리 승인 후 동의 여부를 확인하고, 식별 불가능한 학생 및 팀 코드를 할당하며, 직접적인 식별자를 제거하고, 표 1의 포함, 제외 및 결측 데이터 규칙을 적용한다.
4. 최소 하나 이상의 유효한 과정 후 결과값이 있는 동의 학생들을 포함한다. 두 지식 테스트 중 하나라도 누락된 학생은 쌍체 지식 분석에서 제외하고, 세 가지 과제 기록이 모두 누락된 학생은 대회 관련 분석에서 제외한다. 기타 적격 분석에 사용할 수 있는 기록은 유지한다.
5. 누락된 연구 데이터는 NA로 코딩한다. 승인된 강의 정책에 따라 0점이 실제 성적을 반영하는 경우가 아니면 0을 할당하지 않는다. 각 코호트에 대해 참가자 흐름 기록을 작성한다.

항목	조작적 정의	적용 규칙	데이터셋 변수	분석적 함의
대상 강좌	선정된 학기에 운영되는 학부 전략 경영 강좌	선정된 강좌 분반에 공식적으로 등록된 학생을 포함	course_section	적격한 교육 대상 집단을 정의함
프로토콜 코호트	전체 경쟁 통합 강좌 개선 프로토콜을 적용받은 학급	1로 코딩	cohort_type	프로토콜 코호트
과거 비교 코호트	전체 3단계 경쟁 과정 없이 전통적인 사례 기반 전략 경영 교육을 받은 과거 학급	0으로 코딩	cohort_type	비무작위 과거 비교 코호트
공식 등록	학생이 공식 강좌 명단에 기재됨	잠재적 적격자로 선별	eligible_status	연구용 선별 전 필수 단계
연구 동의	윤리 승인 후, 익명화된 강좌 기록 사용에 대해 학생이 서면 또는 전자 동의서를 제출함	동의한 학생만 연구 데이터셋에 포함	consent_status	미동의 학생은 강좌를 정상적으로 이수하나 연구 분석에서는 제외됨
강좌 참여	연구 동의 여부와 관계없이 수행되는 일상적인 강좌 학습 활동	모든 등록 학생이 수업 참석, 팀 구성, 강좌 과제 수행 및 성적 부여를 받을 수 있도록 허용	course_participation_status	교육 참여와 연구 참여를 분리함
유효한 강좌 후 결과	최소 하나 이상의 유효한 강좌 후 결과가 존재함	관련 결과가 존재하는 분석에 포함	outcome_available	사용 가능한 사례 분석(available-case analysis)을 가능하게 함
중간 지점 전 강좌 중도 포기	학생이 8주 차 이전에 중도 포기함	최종 연구 데이터셋에서 제외	withdrawal_status	불완전 노출 편향을 감소시킴
기초 지식 테스트 누락	1주 차 지식 테스트 기록이 없음	NA로 코딩	pre_knowledge_missing	쌍체 지식 분석에서만 제외
강좌 후 지식 테스트 누락	16주 차 지식 테스트 기록이 없음	NA로 코딩	post_knowledge_missing	쌍체 지식 분석에서만 제외
두 지식 테스트 모두 누락	기초 및 강좌 후 지식 점수가 모두 없음	지식 점수 분석에서 제외	knowledge_pair_status	데이터가 있는 경우 다른 적격 분석을 위해 유지
강좌 후 설문조사 누락	익명 강좌 후 설문조사 기록이 없음	NA로 코딩	survey_missing	객관적 성과 분석에서는 유지
한두 개의 경쟁 과제 기록 누락	한두 개의 과제 또는 매핑된 프로젝트 기록이 없음	강좌 규정상 0점 처리되지 않는 한 누락된 기록을 NA로 코딩	task_score_missing	사용 가능한 과제 또는 매핑된 프로젝트 기록을 유지
세 개의 경쟁 과제 기록 모두 누락	과제 1, 과제 2, 과제 3에 대한 유효한 기록이 모두 없음	경쟁 관련 분석에서 제외	competition_completion	다른 결과가 있는 경우 비경쟁 분석을 위해 유지
중복 기록	동일한 학생 코드에 대해 두 개 이상의 행이 나타남	소스 파일 확인 후 검증된 최종 기록만 유지	duplicate_check	분석 전 해결 필요
식별자 유출	이름, 학번, 전화번호, 이메일, 플랫폼 계정, 기기 식별자 또는 식별 가능한 자유 서술형 댓글이 나타남	분석 전 식별자 제거	identifier_check	익명화 전까지 데이터셋 분석 불가
최종 분석 표본	제외 및 데이터 누락 규칙 적용 후 사용 가능한 데이터를 가진 동의 학생	최종 인원수 및 제외 사유를 보고	analysis_sample	참가자 흐름 보고에 필수적임

표 1: 코호트 구조, 선정 기준, 제외 기준 및 결측치 처리 규칙. 이 표는 프로토콜 코호트, 역사적 대조 코호트, 적격성 기준, 연구 사용 허가, 제외 기준, 결측치 처리 및 분석 표본 구성을 정의합니다.

3. 16주 과정 시퀀스를 실행합니다.

1. 본 과정은 16주의 강의 기간 동안 진행하며, 32시간의 대면 수업 시간과 약 24-30시간의 독립적인 팀워크 시간을 배정한다. 강의 시간, 팀워크 시간, 사례 상호작용, 피드백, 리허설 및 평가 시간을 각각 별도로 기록한다.
2. 1주 차에는 정규 과정 활동으로 과정 브리핑, 기초 지식 테스트 및 기초 참여도 설문 조사를 실시한다. 과정 절차, 과제 순서, 평가 규칙, 데이터 보호 원칙 및 익명화된 기록의 향후 연구 활용에 대해 설명한다. 2-3주 차에는 전략 경영 핵심 강의를 진행하고, 4-15주 차에는 짧은 개념 강화 학습을 실시한다.
3. 4주 차에는 기업 사례 패키지와 과제 순서, 제출 규칙, 루브릭, 피드백 일정, 팀 책임, 학문적 정직성 규칙, AI 사용 공개, 구두 확인 절차 및 이의 신청 절차가 포함된 경진대회 핸드북을 소개한다.
4. 5-6주 차에 과제 1을 수행하고 7주 차에 7일 이내에 피드백을 제공한다. 과제 2 수행 전¹⁴에 전략적 이슈 문구의 수정을 요구한다. 8-10주 차에는 과제 2를, 11주 차에는 기업 멘토링 또는 구조화된 사례 코칭을, 12-15주 차에는 과제 3을 수행한다.
5. 16주 차에는 정규 과정 활동으로 과정 종료 후 지식 테스트, 종료 후 설문 조사, 데이터 감사 및 과정 리뷰를 실시한다. 윤리 승인, 동의 확인 및 성적 제출이 완료된 후에만 연구 목적으로 기록을 내보내고, 코딩 및 익명화하여 분석한다 (표 2 참조).
   중단 지점: 팀 배정, 사례 파일, 핸드북, 루브릭, AI 공개 양식, 과제 템플릿 또는 데이터 기록 양식이 미비한 경우 4주 차 이후에 일정을 중단한다. 연구 보고의 경우, 윤리 승인, 동의 확인, 성적 제출, 익명화 및 데이터셋 잠금이 완료될 때까지 분석을 중단한다.

주	활동	교육적 중점 사항	학생 또는 팀 결과물	필수 기록	품질 검사
1주차	강좌 브리핑 및 기초 평가	강의 프로세스, 평가 규칙, 기초 지식 테스트, 기초 참여도 설문조사	기초 지식 테스트; 기초 설문조사	출석부; 기초 테스트 파일; 기초 설문지 파일; 강의 브리핑 기록	기초 평가 완료 여부를 확인하고, 이후의 연구용 사용분과 일상적인 강의 기록분을 분리하십시오.
2주 차	핵심 전략 경영 지침 I	환경 분석, 산업 분석, 경쟁사 분석	수업용 워크시트	출석; 워크시트 기록	워크시트 작성 완료 확인
3주 차	핵심 전략 경영 지침 II	내부 자원 분석, 전략적 선택, 실행 계획, 성과 평가	단답형 사례 토론 답변	출석; 사례 논의 기록	대회 시작 전 핵심 개념 확인
4주 차	기업 사례 소개 및 경진대회 안내	케이스 패키지, 핸드북, 과업 순서, 루브릭, AI 공개 사항, 팀 규칙, 이의 제기 절차	팀 명단; 팀 헌장; AI 사용 확인서	팀 명단; 팀 헌장; 핸드북 접속 기록; 케이스 접속 기록	사례 파일, 핸드북, 루브릭, 팀 기록, 과제 템플릿 또는 AI 사용 양식이 미비한 경우 일시 중단하십시오.
5주 차	작업 1 시작	전략적 진단 보고서 구조 및 증거 요구 사항	전략적 진단 보고서 초안	팀 프로세스 로그; 상담 기록	팀 역할 배분 확인
6주 차	과제 1 제출	전략적 진단, 산업 및 내부 분석, 증거 활용	최종 작업 1 보고서	제출 기록; 보고서 파일	누락되었거나 형식이 잘못된 제출물 식별
7주차	작업 1 피드백	루브릭 기반 피드백 및 수정 방향	수정된 전략적 문제 진술서	피드백 기록; 피드백 처리 기록	다음의 경우 일시 정지하십시오. >보고서의 15%가 요구되는 구조를 충족하지 못함
8주차	작업 2 시작	결정 시트, 시뮬레이션 가정, 결정 변수	초기 전략 결정 시트	팀 프로세스 로그; 관찰 기록	결정 변수에 대한 이해 확인
9주차	전략적 의사결정 정교화	시장 포지셔닝, 자원 배분, 실행 순서, 리스크 가정	수정된 결정 시트	코칭 기록; 관찰 체크리스트	근거 기반 정당성 확인
10주 차	과제 2 제출	최종 전략적 결정 로직	최종 과제 2 결정 시트	과제 2 점수; 제출 기록; 결정서 파일	제출 완료 여부 확인
11주차	기업 또는 구조화된 사례 코칭	전략적 딜레마에 대한 멘토 또는 사례 기반 피드백	멘토 성찰 시트; 팀 수정 계획서	기업 참여 로그; 학생 질문; 성찰 기록	출석 및 성찰 일지 작성 완료 확인
12주차	작업 3 시작	최종 심사 형식, 요약 보고서, 슬라이드 구성, 질의응답&A 규칙	발표 개요 초안	팀 프로세스 로그; AI 공개 업데이트	동료 기여도 양식을 사용하여 업무 부하 균형 확인
13주차	최종 심사 준비	전략적 일관성, 실행 가능성, 위험 통제, 근거 활용	슬라이드 덱 초안; 요약 보고서	코칭 로그; 관찰 체크리스트	진단-선택-실행 연계 확인
14주차	리허설 및 평가자 보정	예비 심사와 평가자 교육	리허설 발표	평가자 교육 기록; 예비 루브릭 점검	점수 산정 보정 확인
15주차	최종 전략 방어	8분 발표 및 5분 질의응답&A	최종 슬라이드 덱; 요약 보고서; 구두 심사	과제 3 점수; 평가자 점수; Q&A 노트	중복 주관적 점수 산출을 위한 ICC 계산
16주차	강의 후 평가 및 강의 검토	강좌 후 지식 테스트, 강좌 후 설문조사, 강좌 검토, 정기 데이터 감사	강좌 후 지식 테스트; 강좌 후 설문조사	사후 평가 시험 파일; 설문조사 파일; 강의 검토 기록	성적 제출, 윤리 승인, 동의 확인, 비식별화 및 데이터셋 잠금이 완료될 때까지 연구 분석을 일시 중단하십시오.

표 2: 경쟁 통합형 전략 경영 과정 프로토콜의 16주 시행 일정. 이 표는 16주 과정 동안의 주차별 프로토콜 활동, 교육 중점 사항, 학생 또는 팀 결과물, 필수 기록 및 품질 관리 체크포인트를 요약하여 보여줍니다.

4. 기업 사례 및 경진대회 자료를 준비합니다.

1. 공개된 자료, 익명화된 자료 또는 기업 승인을 받은 교육 자료에서 하나의 주요 기업 사례와 두 개의 선택적 보조 사례를 선정하십시오. 각 사례에 대해 산업적 맥락, 관리적 의사결정 문제, 자원 제약, 전략적 트레이드오프, 실행 과제 및 측정 가능한 결과가 포함되어 있는지 확인하십시오. 독립적인 검증이 가능한 경우가 아니라면 '사례의 진정성'보다는 '사례 설계의 완결성'을 기준으로 사용하십시오.
2. 기업 승인 자료를 사용할 수 없는 경우 익명화된 모델 사례를 준비하십시오. 산업 분야, 기업 규모, 고객 세그먼트, 경쟁 압력, 자원 제약, 전략적 결정, 실행 리스크 및 예상 결과를 명시하십시오. 서면 허가 없이 회사 이름, 정확한 재무 수치, 고객 정보, 직원 정보, 독점 데이터 및 전략 문서를 포함한 기업 기밀 정보를 제거하십시오. 사례 템플릿은 보충 파일 1(Supplementary File 1)에 제공됩니다.
3. 핸드북, 과제 템플릿, 동료 기여도 양식, 팀 프로세스 로그, 피드백 로그, AI 사용 공개 양식, 구술 확인 기록지, 루브릭 및 버전 관리 표를 준비하십시오. 언어 다듬기, 서식 지정, 문법 검사, 일반적인 브레인스토밍 및 슬라이드 레이아웃 개선을 위한 공개된 AI 사용은 허용하십시오. 학생이 직접 수행해야 하는 진단, 근거 선택, 결정 정당화, 리스크 분석, 실행 계획 수립 또는 구술 방어를 대체하는 AI 사용은 금지하십시오.
4. 다듬어진 텍스트보다 전략적 추론을 우선시하도록 루브릭을 설계하십시오. 근거 활용, 트레이드오프 추론, 실행 가능성, 내부 일관성 및 구술 방어 점수를 발표 스타일과 분리하여 측정하십시오. 핸드북, 템플릿, 루브릭, 사례 자료, AI 사용 규칙 및 이의 신청 절차를 4주 차 이전에 업로드하십시오.

5. 학생 팀을 구성하고 팀 내 역할을 할당합니다.

1. 학생 4~6명으로 팀을 구성합니다. 기본 과정 성적, 전공, 성별 또는 이전 대회 경험 데이터가 있고 교육 기관의 강의 정책상 허용되는 경우, 층화 집단 구성 방식을 사용하십시오.
2. 과제 1 시작 전에 각 학생에게 하나의 주요 역할을 할당합니다. 각 팀은 팀 헌장을 제출하고 역할 배분, 소통 규칙, 기여 기대치, 마감일, AI 사용 책임, 출석, 결정 사항, 검토된 근거, 미해결 문제 및 차후 조치를 기록하는 프로세스 로그를 유지하도록 합니다.
3. 기여도 불균형을 파악하기 위해 중간 단계와 최종 단계에서 동료 기여도 점수를 수집합니다. 코칭, 리허설 또는 최종 발표 중에 선정된 학생들에게 팀의 진단 내용, 근거 기반, 결정 논리, 위험 가정 또는 구현 계획을 자신의 말로 설명하게 하여 개별 구두 확인을 실시하십시오.

6. 기저 평가를 수행합니다.

1. 정규 과정 평가의 일환으로, 기업 사례 소개 및 경진대회 과제 수행 전인 1주 차에 전략 경영 기초 지식 테스트를 실시한다.
2. 환경 분석, 산업 및 경쟁자 분석, 내부 자원 분석, 전략적 선택, 실행 계획, 전략 평가를 포함하여 0점에서 100점으로 채점되는 24개 문항의 테스트를 사용한다. 설계도, 문항 개발 규칙, 검토 양식 및 채점 규칙은 보충 자료 1에 제공된다.
3. 주제 범위, 문항 형식, 인지 수준, 점수 범위, 예상 난이도 및 채점 규칙이 일치하지만 동일하지는 않은 동등한 버전인 A형과 B형을 개발한다. 전략 경영 강사 2명과 경영 교육 평가 검토자 1명이 문항의 관련성, 명확성, 인지 수준 및 주제 범위를 평가하도록 한다. 분석 표본 외의 학생 24명을 대상으로 두 가지 형태의 파일럿 테스트를 실시한다.
4. 가능한 경우, 난이도 값이 0.30–0.80이고 문항 변별도 값이 0.20 이상인 문항을 유지한다. KR-20 또는 Cronbach’s alpha가 ≥0.70인 경우 내부 일관성이 허용 가능한 것으로 간주한다. 파일럿 테스트의 평균 차이가 ≤3점이고 표준화된 차이가 <0.20인 경우, 해당 형태들을 쌍으로 사용하기에 적절한 것으로 간주한다.
5. 가능한 경우 형태를 균형 배치(counterbalance)한다. 학생의 절반은 기초 단계에서 A형을, 과정 종료 후 B형을 사용하게 하고, 나머지 절반은 기초 단계에서 B형을, 과정 종료 후 A형을 사용하게 배정한다. 하나의 고정된 순서가 사용된 경우, 이를 제한 사항으로 기록한다.
6. 지식 테스트 후에 기초 참여도 설문조사를 실시한다. 5점 척도 문항을 사용하여 전략 경영에 대한 관심도, 인지된 실무 관련성, 사례 분석 자신감, 팀 과제 참여 의지, 팀워크 준비도 및 이전 경진대회 경험을 기록한다. 신뢰도와 차원적 근거가 합성 점수를 뒷받침하지 않는 한, 개념적으로 서로 다른 문항들은 개별적으로 분석한다.
7. 정규 과정 진행 중에 기초 출석, 지식 테스트 완료 여부, 설문조사 완료 여부 및 사용된 형태 버전을 기록한다. 윤리 승인, 동의 확인, 코드 부여 및 직접 식별자 제거 후에만 연구용으로 기초 데이터를 내보낸다.

7. 기업 사례 기반의 전략 경영 교육을 실시합니다.

1. 단기 강의, 가이드형 토론, 팀 워크시트 및 간단한 의사결정 연습을 통해 사례 기반 교육을 실시합니다. 능동적 학습 과제를 활용하여 학생들이 개념 수용 단계에서 분석, 의사결정, 팀 토론 및 성찰 단계로 나아갈 수 있도록 합니다¹⁵.
2. 가능한 경우 기업 관리자, 기업가 또는 산업 멘토를 초빙합니다. 세션 시작 최소 7일 전까지 강의 목표, 학생 수준, 사례 주제, 기밀 유지 요구사항, 토론 중점 사항 및 소요 시간을 제공하십시오. 실시간 멘토를 섭외할 수 없는 경우에는 익명화되었거나 공개된 사례 브리핑을 활용합니다.
3. 시장 불확실성, 경쟁 압박, 비즈니스 모델 조정, 자원 제약, 실행 장벽 또는 리스크 제어와 관련된 비기밀 전략적 문제 하나를 제시합니다. 각 팀이 구조화된 워크시트를 사용하여 문제, 근거 기반, 대안, 리스크 및 권장 결정 사항을 식별하도록 합니다.
4. 각 팀이 사례 문제와 하나의 전략 경영(Strategic Management) 개념 및 하나의 능동적 경쟁 의사결정을 연결한 300~500단어 분량의 성찰 보고서를 제출하도록 합니다. 멘토 배경, 사례 출처, 출석 여부, 학생 질문, 워크시트 완료 여부 및 성찰 보고서 제출 내용을 기업 참여 로그에 기록합니다. 경험 학습 활동을 통해 경쟁 주기 전반에 걸쳐 사례 노출, 성찰, 의사결정 및 수정 과정을 연결합니다¹⁶.

8. 3단계 교수법 경진대회를 실시한다.

1. 4주 차에 공식 경진대회 브리핑을 실시합니다. 과제 순서, 일정, 루브릭, 피드백 규칙, 학문적 정직성 요구사항, AI 공개 범위, 구두 확인 절차 및 이의 제기 절차에 대해 설명합니다.
2. 5~6주 차에 과제 1을 실시합니다. 이는 산업 분석, 경쟁사 분석, 내부 자원 분석, 전략적 이슈 진단, 근거 활용 및 초기 제안을 포함하는 1,500~2,000 단어 분량의 전략 진단 보고서 형태입니다. 피드백은 7일 이내에 제공하며, 수정된 전략적 이슈 정의서를 과제 2의 시작점으로 활용합니다.
3. 8~10주 차에 과제 2를 실시합니다. 이는 시장 포지셔닝, 자원 배분, 가격 또는 비용 논리, 실행 순서, 리스크 가정 및 예상 결과를 다루는 전략적 의사결정 시뮬레이션 또는 구조화된 의사결정 시트 형태입니다.
4. 12~15주 차에 과제 3으로 최종 전략 방어를 실시합니다. 8~12장의 슬라이드 덱, 1,000~1,500 단어의 요약 보고서(executive summary), 8분 발표 및 5분 질의응답을 요구합니다. 방어 단계에서 과제 1의 진단, 과제 2의 의사결정 논리, 실행 계획, 리스크 제어 및 예상 결과가 서로 연계되었는지 확인합니다.
5. 세 가지 과제 모두 100점 만점의 루브릭으로 채점하며, Table 3에 제시된 구조와 채점 차원을 적용합니다.
   일시 중단 지점: 과제 1 채점 후 제출물의 15% 이상이 요구된 구조를 따르지 않았거나, 채점자가 기술어를 불분명하다고 판단한 경우 절차를 일시 중단합니다. 과제 2를 시작하기 전 과제 지침이나 채점자 가이드를 수정합니다.

과제	주(週)	필수 결과물	주요 내용	점수	채점 기준
과제 1: 전략적 진단 보고서	5~6주차	1,500~2,000 단어 분량의 팀 보고서	산업 분석, 경쟁사 분석, 내부 자원 분석, 전략적 이슈 진단, 증거 활용, 초기 권고안	100	산업 및 시장 분석, 20
					내부 자원 분석, 20
					전략적 이슈 진단, 20
					근거 활용, 20
					작성 논리 및 명료성, 20
과제 2: 전략적 의사결정 시뮬레이션 또는 의사결정 시트	8~10주차	구조화된 팀 의사결정 시트	시장 포지셔닝, 자원 배분, 가격 또는 비용 논리, 실행 순서, 리스크 가정, 기대 결과	100	전략적 일관성, 25
					시장 논리, 20
					운영 가능성, 20
					위험 분석, 20
					결정 근거, 15
과제 3: 최종 전략 방어	12~15주차	8~12장의 슬라이드 덱, 1,000~1,500 단어 분량의 요약 보고서, 8분 발표, 5분 질의응답&A	전략적 진단, 전략적 선택, 실행 계획, 리스크 제어, 기대 성과	100	전략적 진단, 20
					전략적 선택, 25
					실행 가능성, 20
					혁신, 15
					근거 활용, 10
					구두 심사, 10

표 3: 3단계 교수법 경진 대회 구조 및 채점 항목. 이 표는 세 가지 경진 대회 과제, 실시 주차, 요구 결과물, 주요 내용 요구사항, 총점 및 채점 항목을 정의합니다.

9. 점수 산정 방식을 표준화하고 평가자를 교육합니다.

1. 인력 상황이 허용하는 경우, 주관적 채점을 위해 최소 2명의 채점자를 모집하십시오. 두 번째 채점자를 확보할 수 없는 경우에는 단일 채점자 채점으로 기록하십시오.
2. 루브릭, 기술어, 보정 제출물, 일반적인 채점 오류, AI 공개 규칙 및 구두 확인 기준을 사용하여 채점자를 교육하십시오. 채점자들은 두 개의 보정 제출물을 독립적으로 채점하고, 10점 이상의 점수 차이가 발생하는 경우 이에 대해 논의합니다.
3. 교육 후 루브릭을 확정하고 구현 주기 전반에 걸쳐 동일한 버전을 사용하십시오. 두 명 이상의 채점자가 동일한 제출물을 채점한 경우 ICC를 계산하십시오. ICC ≥ 0.75는 수용 가능한 것으로 간주하며, ICC <0.75이거나 점수 차이가 10점을 초과하는 경우에는 점수를 조정하십시오. 원점수, 조정 점수 및 조정 기록을 보존하십시오.
4. 기대치를 명확히 하고 형성 평가를 지원하기 위해 루브릭 기반 채점을 사용하십시오¹⁷. 부록 표 S1(Supplementary Table S1)에 명시된 채점자 교육, 채점 일치 및 조정 절차를 따르십시오.

10. 교육 품질 및 실행 충실도 데이터를 수집합니다.

1. 강의실 상호작용, 케이스 설계 완결성, 피드백의 적시성, 과제-루브릭 일치도 및 학생 참여도를 통해 교육의 질을 측정한다. 신뢰도 및 차원적 근거가 통합을 뒷받침하지 않는 한 각 지표를 개별적으로 분석한다.
2. 독립적인 실제성 검증이 가능한 경우가 아니면 “케이스 실제성” 대신 “케이스 설계 완결성”이라는 용어를 사용한다.
3. 계획된 활동 완료도, 기업 또는 케이스 세션 완료도, 과제 제출, 피드백 회신 시간, 루브릭 작성 완료, 관찰 완료 및 평가자 교육 완료도를 통해 실행 충실도를 측정한다.
4. Table 4의 임계값은 외부에서 검증된 기준점이 아니라, 사전에 정의된 운영상의 품질 관리 규칙으로 처리한다. 이 임계값은 파일럿 타당성, 교수팀의 합의 및 업무량 제한을 근거로 연구 분석 전에 설정되었다.
5. Table 4에 제시된 지표, 데이터 소스, 임계값, 경고 규칙 및 시정 조치를 사용한다. 추가적인 문제 해결 절차는 Supplementary Table S2에 제공된다.
6. 계획된 주간 활동의 ≥85%가 완료되고, 프로토콜 코호트 학생의 ≥85%가 세 가지 과제를 모두 완료하며, 피드백의 ≥80%가 7일(캘린더 데이) 이내에 회신되고, 모든 주요 루브릭이 작성되었으며, 필수 관찰 기록이 확보된 경우 실행이 적절한 것으로 처리한다. 과제 완료도가 <75%이거나, 제출물의 >20%에 대해 피드백 회신이 14일(캘린더 데이)을 초과하거나, ICC가 <0.75이거나, 계획된 관찰의 >25%가 누락된 경우 실행이 미흡한 것으로 처리한다.

카테고리	지표	데이터 소스	시점	척도	긍정적 신호 또는 임계값	경고 규칙	교정 조치
이행 충실도	계획된 활동 완료도	강의 이행 로그	1~16주차	완료 비율(%)	계획된 활동의 ≥85% 완료	<85% 완료	누락된 세션을 검토하고 일정 관리를 수정함
이행 충실도	기업 또는 구조화된 사례 세션	기업 참여 로그	11주차	이행됨 / 이행되지 않음	계획된 세션이 이행되었거나 구조화된 사례 코칭으로 대체됨	대체 없이 계획된 세션이 누락됨	익명화된 사례 세션 또는 구조화된 사례 코칭을 사용함
이행 충실도	3단계 과제 순서 완료도	제출 기록	6, 10, 15주차	학생 비율(%)	프로토콜 코호트 학생의 ≥85%가 3가지 과제를 모두 완료함	<75%가 모든 과제를 완료함	지침을 단순화하고 진척도 확인 절차를 추가함
이행 충실도	피드백 적시성	피드백 로그	7, 10, 15주차	캘린더 일수	피드백의 ≥80%가 7일 이내에 반환됨	>20%의 피드백이 14일 이후에 반환됨	피드백 양식을 간소화하고 채점 업무 부하를 분산함
이행 충실도	관찰 완료도	관찰 양식	1~16주차	계획된 관찰 비율(%)	계획된 관찰의 ≥75%가 완료됨	>25%의 계획된 관찰이 누락됨	백업 관찰자를 추가하고 고정된 관찰 일정을 수립함
채점 품질	평가자 간 일치도	평가자 점수	과제 1 하위 집합 및 과제 3 변론	ICC	ICC ≥0.75	ICC <0.75	평가자를 재교육하고 서술어를 명확히 하며 영향받은 점수를 조정함
교수 품질	강의실 상호작용	관찰 체크리스트	선정된 세션	1~5점 척도	평균 ≥3.50 또는 ≥0.30 증가	평균 <3.50	토론 유도 질문과 퍼실리테이션을 강화함
교수 품질	사례 설계 완결성	사례 체크리스트	4주차 이전	0~5 또는 1~5점 척도	평균 ≥4.00	평균 <3.50	사례 맥락, 의사결정 문제, 제약 조건 및 결과를 수정함
교수 품질	과제-루브릭 정렬도	정렬 체크리스트	4주차 이전 및 강의 후 검토	0~5 또는 1~5점 척도	평균 ≥4.00	평균 <3.50	과제-산출물-루브릭-피드백 정렬 상태를 수정함
교수 품질	학생 참여도	출석, 참여, 로그, 설문 항목	1~16주차	항목별 또는 1~5점 척도	≥0.30점 증가	>0.30점 감소	학습 부하를 줄이고 기대치를 명확히 하며 형성적 지원을 늘림
학습 결과	전략 경영 지식	사전 및 사후 테스트	1주차 및 16주차	0~100	평균 ≥5점 증가	<3점 증가	강의 범위, 항목 정렬 및 테스트 동등성을 검토함
학습 결과	개별 사례 분석	사례 분석 루브릭	학기 후반	0~100	프로토콜 코호트 우위 ≥3점	우위 없음 또는 감소	사례 분석 연습과 주석이 달린 예시를 추가함
팀 결과	팀 경쟁 성과	경쟁 루브릭	6, 10, 15주차	0~100	과제 전반에 걸친 점진적 개선	초기 근거는 약하나 최종 점수가 높은 경우	점수 인플레이션을 확인하고 추론 중심으로 루브릭의 균형을 재조정함
학생 인식	만족도	강의 후 설문조사	16주차	1~5점 척도	평균 ≥4.00	평균 <3.50	업무 부하, 과제의 명확성, 피드백 품질 및 팀 조율 상태를 검토함
학생 인식	실무 관련성	강의 후 설문조사	16주차	1~5점 척도	평균 ≥4.00	평균 <3.50	사례의 구체성과 실제 전략적 의사결정과의 연결성을 높임
업무 부하 안전성	경쟁 압박감	강의 후 설문조사	16주차	1~5점 척도 또는 %	높은 압박감을 느끼는 학생 ≤20%	높은 압박감을 느끼는 학생 >20%	과제 중복을 줄이고 마감 기한 간격을 조정함
해석 주의사항	천정 효과	사전 테스트 및 설문조사	1주차	0~100 또는 1~5	기초 지식 ≤85 및 만족도 ≤4.50	지식 >85 또는 만족도 >4.50	적은 폭의 개선을 신중하게 해석함
해석 주의사항	점수 인플레이션	팀 및 개별 결과	학기 말	패턴 판단	팀의 성취가 개별 학습 근거와 병행됨	팀 점수는 개선되었으나 개별 학습은 개선되지 않음	개인별 책임감과 추론 기반 채점을 강화함
팀 프로세스	동료 기여도 균형	동료 기여도 양식	중간 및 최종 단계	1~5점 척도	반복적인 주요 불균형 없음	한 명 이상의 구성원이 반복적으로 매우 낮은 점수를 받음	역할 재배정을 요구하고 교수자가 개입하여 확인함
학문적 진실성	AI 사용 투명성	AI 공개 여부 및 구두 확인	각 주요 과제	공개됨 / 공개되지 않음	기관 규정에 따라 AI 사용이 공개됨	미공개 또는 부적절한 AI 사용	기관의 학문적 진실성 절차를 적용하고 AI 규정을 명확히 함

표 4: 실행 충실도, 교육 품질, 결과 해석 및 문제 해결 지표.이 표는 실행 충실도 지표, 교육 품질 지표, 학생 수준 및 팀 수준의 결과 지표, 채점 품질 지표, 해석 임계값, 경고 규칙 및 시정 조치를 명시합니다.

11. 과정 후 결과 데이터를 수집합니다.

1. 16주 차에 기초 조사와 동일한 양식이 아닌 이에 상응하는 사후 과정 양식을 사용하여 전략 경영 지식 테스트를 실시합니다.
2. 문제 식별, 근거 활용, 전략적 논리, 실현 가능성 및 서술적 명확성을 포함하는 루브릭을 사용하여 학기 말 개인 사례 분석 점수를 수집합니다. 실제 기초 사례 분석 평가가 실시되지 않은 경우, 이를 사후 과정 성과 지표로 보고합니다.
3. 과제 1~3의 팀 점수를 수집하고, 이를 개인 수준의 학습 성과와 분리하여 유지합니다.
4. 익명 사후 설문조사를 통해 만족도, 인지된 실무 관련성, 피드백 유용성, 팀 협력, 경쟁 압박, 업무량 및 인지된 개선도를 수집합니다. 신뢰도와 차원적 근거가 복합 점수를 지원하지 않는 한, 항목들을 하나의 점수로 통합하지 마십시오.
5. 성적 제출 후에만 최종 과정 점수를 수집합니다. 윤리 승인, 동의 확인, 코드 부여, 그리고 직접 식별자 및 식별 가능한 의견 제거를 거친 후에만 연구 목적으로 사후 과정 기록을 내보냅니다.
   일시 중단 지점: 최종 성적이 제출되고, 윤리 승인이 획득되며, 동의 확인이 완료되고, 동의자 명단이 연구 데이터 세트와 분리되었으며, 비식별화가 확인될 때까지 연구 분석을 중단하십시오.

12. 비식별화된 데이터 세트를 정제하고 병합합니다.

1. 윤리 승인 및 동의 확인 후, 비식별화된 학생 수준, 팀 수준 및 학급 세션 데이터세트를 생성합니다. 중복 레코드, 불가능한 값, 누락된 코드, 일치하지 않는 팀 코드 및 직접 식별자를 확인합니다.
2. 팀 코드를 기준으로 학생 수준 데이터와 팀 수준 데이터를 병합합니다. Supplementary File 1의 템플릿과 Supplementary Table S3의 변수 사전을 사용하여 모든 데이터세트를 정제하고 코딩합니다.
3. 결측값은 NA로 코딩합니다. 강의 정책에서 특정 요구 사항에 대해 보충 평가 또는 0점 처리를 정의하지 않는 한, 누락된 결과값을 대체하지 마십시오. 쌍을 이룬 지식 분석(paired knowledge analysis)에서는 지식 테스트 결과가 누락된 학생만 제외하며, 경쟁 관련 분석에서는 세 가지 경쟁 과제를 모두 누락한 학생을 제외합니다. 그 외 분석 가능한 다른 분석을 위해서는 사용 가능한 레코드를 유지합니다.
4. 정제된 데이터세트, 데이터 사전, 정제 로그, 분석 준비 완료 파일 및 잠금 출력 파일을 저장합니다. 잠금 데이터는 날짜가 기록된 수정 로그가 있는 경우에만 수정하십시오.

13. 실행 충실도, 교수 품질 및 학습 성과를 분석합니다.

1. 학습 결과를 해석하기 전에 실행 충실도를 분석하십시오. 충실도 임계값이 충족되지 않은 경우, 결과의 차이를 해석할 때 주의하십시오.
2. 연속형 변수에 대해서는 기술 통계량을, 범주형 변수에 대해서는 빈도를 보고하십시오. 여기에는 코호트 유형, 주요 그룹, 이전 대회 경험, 과제 완료 여부, 결측 데이터 범주 및 프로토콜 코호트 수상 수준이 포함됩니다. 비교 코호트가 동일한 수상 구조를 사용하지 않은 경우, 수상 수준은 프로토콜 코호트에 대해서만 보고하십시오.
3. 인과적 동등성보다는 기초 상태의 비교 가능성을 설명하기 위해, 적절한 경우 독립 표본 t-검정, 카이제곱 검정 또는 피셔의 정확 검정을 사용하여 기초 특성을 비교하십시오.
4. 대응 표본 t-검정 또는 윌콕슨 부호 순위 검정을 사용하여 코호트 내 지식 변화를 비교하십시오. 기초 차이를 보정한 독립 표본 t-검정, 맨-휘트니 U 검정, 공분산 분석(ANCOVA) 또는 회귀 모델을 사용하여 코호트 간 교육 후 결과를 비교하십시오. 모든 코호트 비교는 인과적 추정치가 아니라 상황 특이적인 교육 기록 분석으로 해석하십시오.
5. 여러 시점을 분석하는 경우 반복 측정 또는 혼합 효과 모델을 사용하십시오. 반복 측정 시에는 학생 수준의 무작위 효과를 포함하고, 학생이 팀 내에 중첩된 경우에는 팀 수준의 무작위 효과 또는 클러스터 강건 표준 오차를 포함하십시오.
6. 팀 수준의 결과는 학생 수준의 결과와 분리하여 분석하십시오. 클러스터링 문제를 해결하지 않은 상태에서 팀 점수를 독립적인 개별 관측치로 취급하지 마십시오.
7. 주요 평균 차이에 대해 Cohen’s d를 보고하며, 0.20, 0.50, 0.80을 각각 작음, 중간, 큼으로 해석하십시오. 가능한 경우 95% 신뢰 구간을 보고하고, 민감도 분석에서 전체 사례 분석 결과와 가용 사례 분석 결과를 비교하십시오.
8. 통계 스크립트, 소프트웨어 출력물, 그림 소스 파일 및 최종 표를 저장하십시오. 모든 표는 편집 가능한 별도 파일로 제출하고, 그림 소스 데이터는 아카이브하십시오.

14. 성공적인 구현 및 최적화되지 않은 구현의 해석.

1. 최종 결과를 해석하기 전에 구현 성공의 정의를 설정하십시오. Table 4의 핵심 충실도 임계값이 충족되었을 때 프로토콜이 성공적으로 구현된 것으로 간주합니다.
2. 충실도, 점수 신뢰도, 결측 데이터 패턴, 기선 비교 가능성 및 분석 단위를 확인한 후에만 학습 결과를 해석하십시오.
3. 충실도가 적절한 경우, 과정 후 지식이 ≥5점 증가하거나, 학기 말 개별 사례 분석의 이점이 ≥3점 이상이거나, 5점 척도에서 교수 프로세스 지표가 ≥0.30 증가한 것을 긍정적인 구현 신호로 간주합니다.
4. 분석 전 경고 패턴을 정의하십시오: 기선 지식이 85/100을 초과하거나 기선 만족도가 4.50/5를 초과하는 경우 천장 효과(ceiling effect), 개별 학습의 증거 없이 팀 점수만 향상되는 경우 점수 인플레이션, 만족도가 >0.30점 감소하거나 학생의 >20%가 높은 업무 부담 압박을 보고하는 경우 과도한 경쟁 압박으로 정의합니다.
5. 평가를 단일 점수가 아니라 구현 충실도부터 학생 반응, 학습 증거, 그리고 과정 개선으로 이어지는 계층적 프로세스로 해석하십시오¹⁸. 본 설계는 무작위 배정 대신 일상적인 교육 코호트, 역사적 비교 집단 및 회고적 비식별 과정 기록을 사용하므로 인과적인 표현은 피하십시오.

15. 트러블슈팅, 최적화 및 교육 과정 반복 수행을 진행합니다.

1. 각 주요 과업 후 충실도를 검토하여 피드백 지연, 낮은 팀 참여도, 불분명한 지침, 불완전한 채점표, 관찰 기록 누락, 사례 설계의 완결성 부족, 평가자 간 불일치 또는 부적절한 AI 사용 여부를 확인합니다.
2. 지침 수정, 추가 코칭, 평가자 재교육, 역할 재배정, 업무량 조정 또는 기관의 학문적 정직성 검토를 포함하여 Supplementary Table S2에 명시된 시정 조치를 적용합니다.
3. 학기 기간이 짧은 경우, 최종 변론, 피드백 기록 및 충실도 점검은 유지하면서 과업 1과 2를 하나의 진단-결정 브리핑으로 통합합니다. 온라인, 하이브리드 또는 대규모 다분반으로 운영할 때는 디지털 브리핑, 제출 로그, 온라인 구술 점검, 표준화된 피드백 템플릿, 공통 루브릭, 공유 평가자 교육, 분반별 관찰자, 팀 대시보드 및 중앙 데이터 관리 시스템을 활용합니다.
4. 16주 차 이후에 충실도, 프로세스 지표, 학생 성과, 평가자 노트, 데이터 누락 패턴, AI 사용 기록, 학생 의견 및 교수자 성찰 내용을 검토합니다. 다음 주기 시작 전에 핸드북, 사례 패키지, 루브릭, 템플릿, 피드백 일정 및 데이터 기록 양식을 수정합니다.
5. 윤리 승인 및 연구 데이터 준비가 완료되면 프로토콜 맵, 일정표, 핸드북, 사례 파일, 루브릭, 관찰 양식, 설문 도구, 비식별화된 데이터 세트, 데이터 사전, 분석 스크립트, 통계 결과물, 그림 소스 파일, 표 및 보충 자료를 보관합니다. 모든 수정 사항을 버전 관리 표에 기록합니다.

결과

대표 결과는 16주간의 경진대회 통합 전략 경영 과정 개선 프로토콜을 통해 생성된 산출물을 보여줍니다. 결과는 실행 충실도, 교육 품질, 학생 수준의 성과, 팀 수준의 성과 및 사전 정의된 경고 패턴별로 정리되었습니다. 데이터가 무작위 배정이 아닌 과거 비교 그룹이 포함된 일반 교육 코호트로부터 얻어졌으므로, 모든 결과는 효과에 대한 인과적 증거가 아니라 특정 맥락에서의 실행 및 평가 결과로 해석되어야 합니다.

이행 충실도 및 교육 품질

가용 가능한 교육 기록 데이터셋에는 역사적 비교 코호트 학생 88명과 프로토콜 코호트 학생 92명이 포함되었습니다. 팀 수준 데이터셋에는 비교 코호트 팀 22개와 프로토콜 코호트 팀 23개가 포함되었습니다. 사전-사후 지식 테스트 짝지어 적용 규칙을 적용한 후, 지식 습득 분석을 위해 비교 코호트 학생 79명과 프로토콜 코호트 학생 84명이 유지되었습니다.

학습 결과를 해석하기 전에 실행 충실도를 확인하였습니다. 프로토콜 코호트는 계획된 16개의 주간 활동 중 15개(93.8%)를 완료한 반면, 대조 코호트는 16개 중 13개(81.3%)를 완료하였습니다. 기업 또는 구조화된 사례 세션은 프로토콜 코호트에서 완료되었으나, 전체 과거 대조 구조에는 포함되지 않았습니다. 프로토콜 코호트에서는 학생 92명 중 88명(95.7%)이 세 가지 경쟁 과제를 모두 완료하였습니다. 대조 코호트에서는 학생 88명 중 18명(20.5%)만이 세 가지의 유사한 프로젝트 기반 평가에 대한 완전한 기록을 보유하고 있었습니다. 과거 과정에서는 전체 경쟁 시퀀스가 구현되지 않았기 때문에, 이 기록들은 기술적 비교 용도로만 유지되었습니다. 피드백은 프로토콜 코호트 제출물 268건 중 243건(90.7%)에 대해 7일 이내에 제공된 반면, 대조 코호트 제출물 66건 중에는 49건(74.2%)에 대해 제공되었습니다. 평균 피드백 소요 시간은 각각 5.8 ± 1.9일과 8.4 ± 2.7일이었습니다. 관찰 완료율은 81.3%와 62.5%에 도달하였습니다. 중복 주관적 점수에 대한 프로토콜 코호트의 2인 평가자 ICC는 0.82로, 사전 정의된 임계값인 0.75를 초과하였습니다. 종합적으로 프로토콜 코호트는 5가지 핵심 실행 충실도 지표 중 5가지를 달성한 반면, 대조 코호트는 5가지 중 2가지를 달성하였습니다.

교수법 품질 지표는 프로토콜 코호트에서 더 높게 나타났다. 강의실 상호작용은 프로토콜 코호트에서 3.70 ± 0.44, 비교 코호트에서 3.15 ± 0.48였다. 사례 설계 완결성은 각각 4.08 ± 0.36 및 3.23 ± 0.42였다. 과업-루브릭 일치도는 각각 4.01 ± 0.39 및 2.30 ± 0.51였다. 학생 참여도는 프로토콜 코호트에서 0.42 ± 0.41점 증가하여 사전 정의된 0.30점의 신호 임계값을 초과한 반면, 비교 코호트에서는 0.07 ± 0.34점 증가했다. 출석률은 코호트 간에 유사하게 나타났다: 89.6% ± 5.8% 및 89.1% ± 6.2%. 표 5에 이러한 지표들이 요약되어 있다.

지표	데이터 소스	사전에 정의된 임계값	과거 비교 코호트	프로토콜 코호트	해석
계획된 주간 활동 완료	강좌 실행 로그	≥85%	13/16주, 81.3%	15/16주, 93.8%	프로토콜 코호트에서 달성됨
기업 또는 구조화된 케이스 세션 구현	기업 참여 로그	1회 이상의 구현 세션	0/1 세션, 0.0%	1/1 세션, 100.0%	프로토콜 코호트에서 달성됨
작업 완료 또는 매핑된 프로젝트 기록 완료	제출 기록	≥85%	학생 88명 중 18명, 20.5%	학생 88/92명, 95.7%	프로토콜 코호트에서 달성됨; 과거 기록은 서술용으로만 제공됨
7일 이내에 피드백 제공됨	피드백 기록	≥80%	66건의 제출물 중 49건, 74.2%	243/268 제출물, 90.7%	프로토콜 코호트에서 달성됨
관찰 체크리스트 작성 완료	관찰 양식	≥75%	16회 세션 중 10회, 62.5%	13/16 세션, 81.3%	프로토콜 코호트에서 달성됨
두 평가자 간 일치도	평가자 점수	ICC ≥0.75	필요하지 않음	ICC = 0.82	프로토콜 코호트에서 달성됨
피드백 소요 시간	피드백 로그	평균 7일 이하 권장	8.4 ± 2.7일	5.8 ± 1.9일	프로토콜 코호트 내의 선호 범위 내에 있음
교실 상호작용	관찰 체크리스트	평균 ≥3.50 또는 증가량 ≥0.30	3.15 ± 0.48	3.70 ± 0.44	프로토콜 코호트에서 더 높음
케이스 설계 완결성	케이스 설계 체크리스트	평균 ≥4.00 선호	3.23 ± 0.42	4.08 ± 0.36	프로토콜 코호트에서 더 높음
과업-루브릭 정렬	정렬 체크리스트	평균 ≥4.00	2.30 ± 0.51	4.01 ± 0.39	프로토콜 코호트에서 달성됨
학생 참여도 향상	출석, 로그, 설문 항목	0.30점 이상 증가	+0.07 ± 0.34	+0.42 ± 0.41	프로토콜 코호트에서 달성됨
출석률	출석 기록	기술적 설명	89.1% ± 6.2%	89.6% ± 5.8%	코호트 간 유사함
핵심 시행 충실도 요약	이행 지표	대부분의 핵심 임계값 달성	2/5 임계값 달성	5/5 임계값 달성	의도한 대로 구현된 프로토콜

표 5: 대표적인 실행 충실도 및 교수 품질 지표. 이 표는 과거 비교 코호트와 프로토콜 코호트에 대한 대표적인 실행 충실도 및 교수 품질 결과물을 보고하며, 사전 정의된 운영 임계값이 달성되었는지 여부를 나타냅니다.

그림 2는 실행 충실도와 교수 품질 프로필을 나타냅니다. 그림 2A는 계획된 주간 활동 완료도를 보여줍니다. 그림 2B는 3단계 과제 시퀀스 완료도를 보여줍니다. 그림 2C는 7일 이내에 제공된 피드백을 보여줍니다. 그림 2D 는 강의실 상호작용, 사례 설계 완결성, 과제 루브릭 정렬 및 학생 참여도 증가분을 보여줍니다. 그림 2E는 관찰 완료 및 기업 또는 구조화된 사례 세션 완료도를 보여줍니다. 백분율 기반의 충실도 측정값과 척도 기반의 교수 지표는 각각의 측정 척도 내에서 해석해야 합니다.

그림 2: 실행 충실도 및 교수 품질 프로필. 이 그림은 과거 비교군과 프로토콜군의 실행 충실도 및 교수 품질 지표를 요약한 것입니다. (A) 계획된 주간 활동 완료도. (B) 전체 과제 또는 매핑된 프로젝트 기록 완료도이며, 프로토콜군의 전체 3단계 과제 시퀀스와 과거 비교군의 매핑된 프로젝트 기록을 구분하여 나타냈습니다. (C) 7일 이내에 반환된 피드백이며, 피드백 처리 시간은 보조 정보로 표시되었습니다. (D) 강의실 상호작용, 케이스 설계 완성도, 과제-루브릭 정렬 및 학생 참여도 향상을 포함한 교수 품질 지표입니다. (E) 관찰 체크리스트 완료 및 기업 또는 구조화된 케이스 세션 실행 여부입니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.

학생 수준의 학습 성과

학생 수준의 성과는 팀 수준의 경쟁 성과와 별도로 분석되었습니다. 기초 지식 점수는 프로토콜 군이 64.18 ± 8.74점, 대조 군이 62.37 ± 8.91점으로, 1.81점의 적은 기초 차이를 보였습니다(d = 0.21). 과정 종료 후 지식 점수는 각각 71.08 ± 8.58점과 66.41 ± 9.06점으로, 4.67점의 차이가 있었습니다(d = 0.53). 지식 습득량은 각각 6.90 ± 5.41점과 4.04 ± 5.26점으로, 2.86점의 차이를 보였습니다(d = 0.54). 프로토콜 군은 사전에 정의된 5점의 지식 습득 신호 기준을 초과하였습니다.

학기 말 개인별 사례 분석 성적은 프로토콜 군에서 82.31 ± 7.06, 대조군에서 76.42 ± 7.38로 나타났으며, 그 차이는 5.89점(d = 0.82)이었습니다. 실제 기초 사례 분석 평가가 실시되지 않았으므로, 이 결과는 쌍체 이득(paired gain)보다는 교육 후 성취도 지표로 해석되었습니다. 만족도는 각각 3.66 ± 0.58 및 3.34 ± 0.62(d = 0.53)였습니다. 인지된 실무 관련성은 3.91 ± 0.55 및 3.41 ± 0.59(d = 0.88)였습니다. 경쟁 압박은 프로토콜 군이 3.12 ± 0.76으로, 대조군의 2.48 ± 0.71(d = 0.87)보다 높았으나, 높은 학습량 압박은 프로토콜 군 학생 92명 중 13명(14.1%)이 보고하여 미리 정의된 경고 임계값인 20%보다 낮았습니다. 최종 과목 성적은 이차 교육 성과로 처리되었으며, 프로토콜 군에서 87.20 ± 6.10, 대조군에서 84.80 ± 6.70(d = 0.37)이었습니다. 표 6은 학생 수준 및 팀 수준의 성과를 요약하여 보여줍니다.

결과	수준	과거 비교 코호트	프로토콜 코호트	차이	효과 크기	해석
가용 교육 기록 샘플	학생	n = 88	n = 92	—	—	사용 가능한 비식별 처리된 강의 기록
쌍을 이룬 지식 분석 샘플	학생	n = 79	n = 84	—	—	기초 및 강의 후 지식 점수가 있는 학생
기초 지식 점수	학생	62.37 ± 8.91	64.18 ± 8.74	1.81	0.21	작은 기초 차이
강의 후 지식 점수	학생	66.41 ± 9.06	71.08 ± 8.58	4.67	0.53	프로토콜 코호트에서 더 높음
지식 습득량	학생	4.04 ± 5.26	6.90 ± 5.41	2.86	0.54	프로토콜 코호트가 ≥5점 신호 기준을 초과함
개별 사례 분석 점수	학생	76.42 ± 7.38	82.31 ± 7.06	5.89	0.82	≥3점 사례 분석 신호 기준을 초과함
학생 참여도 증가량	학생	+0.07 ± 0.34	+0.42 ± 0.41	+0.35	0.93	≥0.30점 신호 기준을 초과함
만족도 점수	학생	3.34 ± 0.62	3.66 ± 0.58	0.32	0.53	프로토콜 코호트에서 더 높음
인지된 실무 관련성	학생	3.41 ± 0.59	3.91 ± 0.55	0.5	0.88	프로토콜 코호트에서 더 높음
경쟁 압박 점수	학생	2.48 ± 0.71	3.12 ± 0.76	0.64	0.87	프로토콜 코호트에서 압박이 더 높음
높은 업무량 압박	학생	경쟁 압박으로 평가되지 않음	13/92, 14.1%	—	—	20% 경고 임계값 미만
최종 강의 점수	학생	84.80 ± 6.70	87.20 ± 6.10	2.4	0.37	이차적 교육 결과
팀 수	팀	n = 22	n = 23	—	—	팀 수준 분석은 별도로 보고됨
의사결정 라운드 노출	팀	0.77 ± 0.81 rounds	5.09 ± 0.79 rounds	4.32	추정되지 않음	구현 노출 지표
과제 1 또는 매핑된 진단 점수	팀	69.84 ± 6.45	72.18 ± 6.28	2.34	0.37	완만한 팀 수준 차이
과제 2 또는 매핑된 결정 점수	팀	71.09 ± 6.12	73.52 ± 5.91	2.43	0.4	완만한 팀 수준 차이
과제 3 또는 매핑된 최종 변론 점수	팀	72.71 ± 6.36	77.20 ± 6.04	4.49	0.72	가장 큰 팀 수준 차이
최종 팀 점수	팀	71.21 ± 5.81	74.30 ± 5.52	3.09	0.55	중간 정도의 팀 수준 차이
전략적 진단 차원	팀	14.60 ± 1.80	15.60 ± 1.70	1	—	최종 변론 루브릭 차원
전략적 선택 차원	팀	17.90 ± 2.20	19.10 ± 2.10	1.2	—	최종 변론 루브릭 차원
구현 가능성 차원	팀	14.40 ± 1.90	15.50 ± 1.80	1.1	—	최종 변론 루브릭 차원
혁신 차원	팀	10.80 ± 1.60	11.50 ± 1.50	0.7	—	최종 변론 루브릭 차원
증거 활용 차원	팀	7.10 ± 1.00	7.50 ± 0.90	0.4	—	최종 변론 루브릭 차원
구두 변론 차원	팀	7.91 ± 1.10	8.00 ± 1.00	0.09	—	최종 변론 루브릭 차원
동료 기여도 평균	팀	3.72 ± 0.41	3.91 ± 0.36	0.19	0.49	주요 팀 프로세스 실패 없음
기여도 불균형이 있는 팀	팀	4/22, 18.2%	3/23, 13.0%	−5.2 퍼센트 포인트	—	체계적인 불균형 패턴 없음
시상 분포	팀	해당 없음	없음 10; 3등 8; 2등 2; 1등 3	—	—	프로토콜 코호트 전용
점수 인플레이션 경고 패턴	팀	해당 없음	2/23 팀, 8.7%	—	—	문제 해결을 위해 플래그 지정됨

표 6: 대표적인 학생 수준 및 팀 수준 결과. 이 표는 가용 교육 기록 샘플, 쌍을 이룬 지식 분석 샘플, 지식 점수, 지식 습득도, 개별 사례 분석 점수, 참여도, 만족도, 인지된 실무 관련성, 업무 부하 압박, 최종 강좌 점수, 팀 과제 점수, 최종 방어 루브릭 차원 점수, 동료 기여도, 수상 배분 및 경고 지표를 포함한 대표적인 학생 수준 및 팀 수준 결과를 보고합니다.

그림 3은 해당되는 경우 불확실성 추정치와 함께 학생 수준의 결과를 보여줍니다. 그림 3A는 기초 및 과정 후 지식 점수를 보여줍니다. 그림 3B는 지식 습득량을 보여줍니다. 그림 3C는 개별 사례 분석 성과를 보여줍니다. 그림 3D는 참여도 증가, 만족도 및 인지된 실질적 관련성을 보여줍니다. 그림 3E 는 이차 결과로서 최종 과정 점수를 보여줍니다.

그림 3: 학생 수준의 대표적 학습 성과. 이 그림은 팀 수준의 경쟁 성과와 구분하여 개인 수준의 성과를 보여줍니다. (A) 기초 및 과정 종료 후의 전략 경영 지식 점수. (B) 기초 평가부터 과정 종료 후 평가까지의 지식 습득량. (C) 학기 후반의 개인 사례 분석 점수. (D) 참여도 증가 및 만족도와 인지된 실무 관련성을 포함한 설문 인식 지표가 필요한 경우 별도의 척도로 표시됩니다. (E) 이차 교육 성과로서의 최종 과정 점수와 사전 정의된 경고 임계값 대비 프로토콜 코호트의 높은 업무 부하 압력. ± 값이 표시된 경우 값은 mean ± SD로 제시되었으며, 오차 막대는 SD를 나타냅니다. (E)에서 점선 참조선은 사전 정의된 높은 업무 부하 압력 경고 임계값인 20%를 나타냅니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.

팀 수준의 경쟁 결과

팀 수준의 결과는 학생 수준의 결과와 별도로 분석되었습니다. 기술적 보고를 위해, 비교 코호트의 사례 프로젝트 기록은 가능한 경우 이에 상응하는 평가 지점으로 매핑되었으나, 이러한 기록이 전체 경쟁 통합 시퀀스의 완료를 의미하지는 않았습니다. 결정 라운드 노출은 학습 효과 추정치가 아닌 구현 노출 지표로 보고되었습니다. 프로토콜 코호트는 5.09 ± 0.79회의 결정 라운드를 완료한 반면, 비교 코호트는 0.77 ± 0.81회의 매핑된 라운드를 완료했습니다.

프로토콜 코호트에서 과제 1의 평균 점수는 72.18 ± 6.28, 과제 2의 평균 점수는 73.52 ± 5.91, 과제 3의 평균 점수는 77.20 ± 6.04였습니다. 이에 대응하는 매핑된 대조 코호트 점수는 각각 69.84 ± 6.45, 71.09 ± 6.12, 72.71 ± 6.36이었습니다. 최종 팀 점수는 프로토콜 코호트에서 74.30 ± 5.52, 대조 코호트에서 71.21 ± 5.81이었습니다. 최종 방어 또는 매핑된 최종 프로젝트 루브릭 항목별 점수는 다음과 같았습니다: 전략적 진단 15.60 ± 1.70 및 14.60 ± 1.80; 전략적 선택 19.10 ± 2.10 및 17.90 ± 2.20; 구현 가능성 15.50 ± 1.80 및 14.40 ± 1.90; 혁신성 11.50 ± 1.50 및 10.80 ± 1.60; 근거 활용 7.50 ± 0.90 및 7.10 ± 1.00; 구술 방어 8.00 ± 1.00 및 7.91 ± 1.10 순이었습니다.

비교 코호트는 전체 보상 기반 경쟁 구조를 사용하지 않았기 때문에, 프로토콜 코호트에 대해서만 보상 분포가 보고되었습니다. 프로토콜 코호트에서는 10개 팀이 보상을 받지 못했고, 8개 팀이 3등상을, 2개 팀이 2등상을, 그리고 3개 팀이 1등상을 받았습니다. 평균 동료 기여도는 프로토콜 코호트에서 3.91 ± 0.36, 비교 코호트에서 3.72 ± 0.41이었습니다. 기여도 불균형은 프로토콜 코호트 팀 23개 중 3개, 비교 코호트 팀 22개 중 4개에서 확인되었습니다. 점수 인플레이션 경고 패턴은 프로토콜 코호트 팀 23개 중 2개에서 확인되었으며, 이는 8.7%에 해당합니다.

그림 4는 팀 수준의 결과와 경고 패턴을 나타냅니다. 그림 4A는 과제 1, 과제 2 및 과제 3의 팀 점수를 보여줍니다. 그림 4B는 최종 방어 루브릭 차원별 점수를 보여줍니다. 그림 4C는 프로토콜 코호트별 수상 분포만을 보여줍니다. 그림 4D는 점수 인플레이션 경고 사례를 보여줍니다. 그림 4E는 동료 기여도 균형 및 기여 불균형 횟수를 보여줍니다.

그림 4: 팀 수준의 경쟁 결과 및 경고 패턴. 이 그림은 학생 수준의 학습 결과와 별개로 팀 수준의 결과를 나타냅니다. (A>) 과제 1 전략적 진단, 과제 2 전략적 결정, 과제 3 최종 변론에 대한 단계별 팀 점수이며, 가능한 경우 과거 비교 코호트의 매핑된 프로젝트 점수가 함께 표시되어 있습니다. (B>) 전략적 진단, 전략적 선택, 실행 가능성, 혁신성, 근거 활용 및 구두 변론을 포함한 최종 변론 루브릭 차원별 점수입니다. (C>) 과거 비교 코호트는 전체 보상 기반 경쟁 구조를 사용하지 않았으므로 프로토콜 코호트의 시상 분포만 표시되었습니다. (D>) 점수 인플레이션 경고 패턴으로, 진단 역량의 뒷받침이나 개별 학습 증거 없이 최종 변론 성적이 높은 경우로 정의됩니다. (E>) 동료 기여도 점수와 기여 불균형 횟수가 별도의 팀 수준 지표로 표시됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

최적이지 않은 패턴 및 문제 해결 지표

23개의 프로토콜 코호트 팀 중 2개 팀에서 사전 정의된 점수 팽창 경고 패턴이 나타났다. 이 팀들은 최종 방어 점수는 상대적으로 높았으나, 과제 1 진단 점수가 더 낮았고 개인별 지식 습득량은 평균 미만이었다. 이러한 패턴은 학습 개선의 증거로 해석하기보다 다음 강좌 반복 시 후속 조치가 필요한 사항으로 표시되었다. 기초 지식 점수가 100점 만점에 85점 미만이었고 기초 만족도가 5점 만점에 4.50점 미만이었으므로, 주요한 천정 효과 경고는 관찰되지 않았다. 출석률은 코호트 간에 유사했으며, 3개의 프로토콜 코호트 팀에 대해 모니터링이 필요했으나 체계적인 팀 기여도 불균형은 관찰되지 않았다.

전반적으로, 대표적인 결과들은 본 프로토콜이 구현 충실도, 학생 수준의 학습 증거, 팀 수준의 경쟁 성적이라는 세 가지 수준에서 해석 가능한 결과물을 생성했음을 보여주었습니다. 경고 사례들은 강의 모니터링, 문제 해결 및 후속 강의 개선을 위해 본 프로토콜을 활용하는 것을 뒷받침하였습니다.

본 연구를 뒷받침하는 비식별화된 데이터셋은 figshare.com에 저장되었으며, https://doi.org/10.6084/m9.figshare.33094931에서 확인할 수 있습니다. 해당 데이터셋에는 학생 수준의 기록, 팀 수준의 경진대회 기록, 실행 지표, 참가자 흐름 기록, 결측 데이터 감사 기록 및 평가자 점수 기록이 포함되어 있습니다. 학생 식별자, 동의서 기록, 연결 파일 및 식별 가능한 자유 텍스트 의견은 포함되지 않았습니다.

보충 표 S1: 평가자 교육, 점수 일치도 및 점수 조정 절차.이 표는 평가자 배정, 독립성 확인, 루브릭 오리엔테이션, 보정 점수 산정, 점수 일치도 확인, 점수 차이 규칙, 조정 절차, 데이터 입력 감사, 점수 확정 및 아카이브 절차를 제공합니다.이 파일을 다운로드하려면 여기를 클릭하십시오.

보충 표 S2: 프로토콜 편차 및 최적화되지 않은 실행을 위한 문제 해결 매트릭스.이 표는 트리거 규칙, 시정 조치, 필수 기록 및 해석 참고 사항을 포함하여 프로토콜 편차와 최적화되지 않은 실행 패턴을 나열합니다.이 파일을 다운로드하려면 여기를 클릭하십시오.

보충 표 S3: 비식별화된 교육용 데이터셋의 데이터 구조 및 변수 사전.이 표는 변수 코드, 설명, 데이터 유형, 코딩 범위, 데이터 소스 및 결측 데이터 규칙을 포함하여 학생 수준, 팀 수준 및 클래스 세션 수준 변수를 정의합니다.이 파일을 다운로드하려면 여기를 클릭하십시오.

보충 자료 1: 운영 템플릿, 평가 자료 및 비식별화된 데이터셋 워크북. 이 보충 자료는 재현성을 지원하기 위해 사용된 운영 템플릿, 평가 자료, 채점 양식, 설문 항목, 사례 설계 확인서, 결측 데이터 규칙, 비식별화된 데이터셋 워크북 구조, 정제 로그, 분석 요약 템플릿 및 버전 관리 기록을 제공합니다.여기에서 이 파일을 다운로드하십시오.

토론

본 프로토콜은 학부 전략 경영 과정에 교육-경연 시퀀스를 통합하기 위한 재현 가능한 접근 방식을 제공합니다. 본 방식의 목적은 기존 과정에 단순한 경연 행사를 추가하는 것이 아니라, 전략적 진단, 의사 결정, 형성적 피드백, 최종 변론 및 과정 후 평가를 연결하는 구조화된 과정 개선 프로세스로 경연을 전환하는 것입니다. 따라서 교육적 가치는 단순히 경연의 유무보다는 시퀀스의 설계 방식에 따라 달라집니다. 경연 기반 또는 게임 기반 활동은 참여도를 높일 수 있으나, 학습 목표, 과제 결과물, 채점 기준 및 데이터 기록이 명확하게 규정되지 않을 경우 그 교육적 가치를 해석하기 어렵습니다¹⁹. 본 프로토콜은 재현에 필요한 교수 시퀀스, 채점 루브릭, 피드백 창구, 구현 기록 및 비식별 데이터 구조를 정의함으로써 이 문제를 해결합니다.

핵심 설계 원칙은 정렬입니다. 각 과제는 강의 결과, 강의실 주제, 학생 결과물 및 채점 기준과 연결되어 있습니다. 과제 1에서는 학생들이 전략적 문제를 진단해야 하며, 과제 2에서는 전략적 결정을 선택하고 정당화해야 하며, 과제 3에서는 서면 및 구두 증거를 통해 최종 전략을 방어해야 합니다. 이러한 '진단-결정-방어' 순서는 학생들이 경쟁을 단순히 발표 연습으로만 취급하는 것을 방지하기 위해 고안되었습니다. 또한 이는 학생들이 최종 방어 전에 자신의 논리를 수정할 수 있는 반복적인 기회를 제공합니다. 이러한 구조는 시뮬레이션 기반 및 경험 학습 연구와 일치하며, 해당 연구들은 학생들이 시나리오를 관찰하거나 단순히 실행하는 것보다 능동적인 결정 주기에 참여하고, 피드백을 받으며, 자신의 선택을 설명할 때 응용 학습이 더 유용하다는 점을 시사합니다^20,21.

프로토콜이 의도한 대로 작동하기 위해서는 몇 가지 품질 관리 단계가 필요합니다. 첫째, 피드백은 다음 과제에 영향을 줄 수 있을 만큼 시의적절해야 합니다. 따라서 7일의 피드백 기간은 단순한 행정적 목표가 아니라 교수 설계 요구 사항으로 활용됩니다. 둘째, 채점 품질을 모니터링해야 합니다. 루브릭은 투명성을 높일 수 있지만, 이는 평가자들이 기술어와 증거 요구 사항에 대해 공통된 이해를 공유할 때만 가능합니다²². 이러한 이유로 본 프로토콜에는 평가자 교육, 보정 채점, 점수 격차 확인, ICC 모니터링, 조정 노트 및 점수 잠금 단계가 포함됩니다. 셋째, 팀 성과와 개인의 학습 증거를 분리해야 합니다. 최종 방어 점수가 높더라도 이는 폭넓은 개인적 학습보다는 발표 능력이나 불균형한 팀 기여도를 반영하는 것일 수 있습니다. 따라서 본 프로토콜에서는 지식 점수, 개인별 사례 분석 점수, 학생 인식, 동료 기여도 및 팀 점수를 각각 별도로 분석합니다.

경쟁 통합형 교육은 예측 가능한 방식으로 실패할 수 있으므로, 본 프로토콜에는 문제 해결 규칙이 포함되어 있습니다. 피드백이 지연되거나, 팀원 간의 기여도가 불균형해질 수 있으며, 학생들이 발표 자료의 외관에 지나치게 의존하거나, 개별 학습의 증거 없이 그룹 점수만 향상될 수 있습니다. 이러한 리스크는 피드백 로그, 동료 기여 기록, AI 사용 공개 양식, 구술 점검, 평가자 간 일치도 결과 및 점수 인플레이션 경고 규칙을 통해 모니터링됩니다. 학생들은 언어 교정, 서식 지정 또는 브레인스토밍을 위해 디지털 도구를 사용할 수 있지만, 여전히 본인의 전략적 추론 능력을 입증해야 하므로 AI 사용 공개와 구술 점검 구성 요소가 특히 중요합니다. 본 프로토콜은 모든 AI 지원을 금지하지는 않으나, 공개를 요구하며 핵심 학습 과제를 보호합니다. 즉, 학생들은 진단, 근거, 결정 논리, 실행 리스크 및 최종 권고 사항을 설명할 수 있어야 합니다.

이 프로토콜은 기관에 따라 조정 가능하지만, 핵심 순서는 유지되어야 합니다. 비즈니스 시뮬레이션 플랫폼을 사용할 수 없는 경우, 구조화된 결정 시트(decision sheet)를 시뮬레이션 라운드의 대체제로 사용할 수 있습니다. 기업 멘토가 참석할 수 없는 경우에는 익명화된 사례, 공개 사례 브리핑 또는 녹화된 멘토 의견을 활용할 수 있습니다. 수강생 수가 많은 강의의 경우 병렬 심사 그룹과 표준화된 피드백 템플릿이 필요할 수 있으며, 수강생 수가 적은 강의에서는 더 긴 답변(defense) 세션을 진행할 수 있습니다. 이러한 조정 사항은 기록되어야 하는데, 이는 강의 개선 프로토콜이 교수법적 아이디어뿐만 아니라 실행 충실도, 강사 지원, 평가 조건 및 데이터의 완결성에 따라 달라지기 때문입니다²³. 필수 요구 사항은 해당 강의가 진단, 결정, 답변, 피드백 및 평가로 이어지는 연계된 순서를 유지하는 것입니다.

몇 가지 제한 사항을 인정해야 합니다. 본 프로토콜은 강의 개선 프로토콜이며, 무작위 대조 시험이 아닙니다. 따라서 프로토콜 코호트와 비교 코호트 간의 차이는 효과에 대한 인과적 증거라기보다 대표적인 구현 및 평가 결과로 해석해야 합니다. 과거 또는 병행 비교 코호트는 학생 구성, 강의실 역학, 기관의 시기 또는 평가 조건에서 차이가 있을 수 있습니다. 최종 강의 성적은 경쟁 과제 외의 일상적인 강의 구성 요소가 포함될 수 있으므로 이차 결과 변수입니다. 또한, 팀 수준의 결과는 학생 수준의 학습 결과를 대체하여 사용할 수 없습니다. 이러한 제한 사항은 구현 충실도, 교육 품질 지표, 학생 수준 결과, 팀 수준 결과, 작업 부하 압력 및 경고 패턴을 각각 별도로 보고함으로써 해결하였습니다²⁴.

본 프로토콜은 학생들이 개념적 지식을 실제 경영 판단에 연결해야 하는 과정에 가장 적합합니다. 학생들이 환경을 분석하고, 자원을 평가하며, 전략적 대안을 비교하고, 실행 선택지를 옹호해야 하는 전략 경영 과목이 이에 해당하는 자연스러운 설정입니다. 동일한 구조를 창업, 마케팅 전략, 혁신 관리, 비즈니스 모델 설계 및 증거 기반 의사결정이 필요한 기타 경영 과정에 적용할 수 있습니다. 본 프로토콜의 더 넓은 기여도는 실무적인 면에 있습니다. 즉, 교수자에게 강좌 개선 활동이 어떻게 실행, 모니터링, 점수 산정, 비식별화, 분석 및 수정되었는지를 기록할 수 있는 감사 가능한 방법을 제공합니다. 경영 교육에서 경험 학습은 흔히 현실성 때문에 가치 있게 평가되지만, 그 절차가 복제를 위해 충분히 상세하게 보고되지 않는 경우가 많습니다. 본 프로토콜은 실행 충실도, 채점 일관성, 데이터 거버넌스 및 문제 해결 방법을 하나의 재현 가능한 프로세스로 결합함으로써 이러한 간극을 메웁니다²⁵.

재료

이 논문에 사용된 재료 목록

이름	회사	카탈로그 번호	댓글
AI 사용 공개 양식	저자 개발	AI-Disclosure-v1.0; Supplementary File 1	주요 제출물별 AI 사용 공개 기록
기초 전략 경영 지식 테스트	저자 개발	SMKT-Pre-v1.0; Supplementary File 1	1주 차 기초 지식 측정
강의실 관찰 체크리스트	저자 개발	Observation-v1.0; Supplementary File 1	강의실 상호작용 및 교수 프로세스 품질 기록
데이터 정제 로그	저자 개발	Cleaning-Log-v1.0; Supplementary File 1	데이터 확인, 수정, 제외 및 데이터셋 잠금 기록
경진대회 핸드북	저자 개발	Handbook-v1.0; Supplementary File 1	과제 순서, 제출 규칙, 루브릭, AI 공개, 구술 확인, 이의 신청 및 마감일 정의
데이터 사전	저자 개발	Data-Dictionary-v1.0; Supplementary Table 2	변수, 코딩 범위, 데이터 소스 및 결측 데이터 규칙 정의
비식별화 데이터셋 워크북	저자 개발	Dataset-Workbook-v1.0; Supplementary File 1	학생 수준, 팀 수준 및 강의 세션 수준 변수 저장
기업 또는 익명화 사례 패키지	저자 개발 또는 기업 승인	CasePack-v1.0; Supplementary File 1	전략적 의사결정 맥락 제공
최종 방어 슬라이드 템플릿	저자 개발	FSD-Template-v1.0; Supplementary File 1	과제 3 슬라이드 덱 구조 안내
최종 전략 방어 채점표	저자 개발	FSDSF-v1.0; Supplementary File 1	과제 3 평가자 점수 및 Q&A 평가 기록
IBM SPSS Statistics	IBM	Version 27.0; 기관 또는 개인 라이선스	기술 통계, 그룹 비교, 효과 크기 및 ICC 분석
개별 사례 분석 과제 시트	저자 개발	ICATS-v1.0; Supplementary File 1	개별 사례 분석 요구사항 및 채점 영역 정의
지식 테스트 정답지	저자 개발	SMKT-Key-v1.0; Supplementary File 1	지식 테스트 채점 지원
Microsoft Excel	Microsoft	Excel 2021; 기관 또는 개인 라이선스	데이터 입력, 데이터 사전, 정제 로그, 표 작성 및 원천 데이터 확인
구술 확인 기록 양식	저자 개발	Oral-Check-v1.0; Supplementary File 1	개별 구술 확인 질문 및 응답 기록
동료 기여도 양식	저자 개발	PCF-v1.0; Supplementary File 1	동료 기여도 및 기여 불균형 기록
강좌 후 학습 설문조사	저자 개발	PCLS-v1.0; Supplementary File 1	만족도, 관련성, 피드백 유용성, 협업, 학습량 및 인지적 개선도 측정
강좌 후 전략 경영 지식 테스트	저자 개발	SMKT-Post-v1.0; Supplementary File 1	동등한 형태의 평가지를 사용하여 16주 차 강좌 후 지식 측정
평가자 교육 파일	저자 개발	Rater-Training-v1.0; Supplementary File 1	교정 파일, 기술어, 예시 및 일반적인 채점 오류 제공
통계 출력 파일	소프트웨어 생성	Statistical-Output-v1.0; 잠금 처리된 분석 폴더에 보관	분석 파일 및 데이터셋 버전과 함께 통계 출력값 저장
전략적 의사결정 시트	저자 개발	SDS-v1.0; Supplementary File 1	과제 2 의사결정 결과물 안내
전략 진단 보고서 템플릿	저자 개발	SDR-Template-v1.0; Supplementary File 1	과제 1 보고서 구조 안내
학생 코드 연결 파일	저자 개발 제한 파일	Student-Code-Linkage-v1.0; 데이터 관리자가 별도 보관	비식별화 전 학생 신원과 연구 코드 연결
과제-루브릭 정렬 체크리스트	저자 개발	Alignment-v1.0; Supplementary File 1	학습 성과, 과제 결과물, 채점 기준 및 피드백 포인트 간의 정렬 확인
팀 헌장 템플릿	저자 개발	Team-Charter-v1.0; Supplementary File 1	역할 분담, 소통 규칙, 마감일 및 기여 기대치 기록
팀 프로세스 로그	저자 개발	Team-Process-Log-v1.0; Supplementary File 1	회의 참석, 의사결정, 진행 상황, 문제점 및 향후 조치 기록
버전 관리 표	저자 개발	Version-Control-v1.0; Supplementary File 1	버전 번호, 날짜, 편집자, 사유 및 승인 상태 추적
Wenjuanxing 온라인 설문 플랫폼	Wenjuanxing	웹 기반 플랫폼; 기관 또는 사용자 계정 접속	기초 조사, 강좌 후 조사, 동료 기여도 양식 및 AI 공개 데이터 내보내기